FinOps לפרויקטי AI — ניהול עלויות חכם

1. למה FinOps הפך קריטי ב-AI

הסיפור הנפוץ:

"בנינו POC נהדר — תקציב הוכחה: ₪30,000. הצלחנו! עברנו לייצור. עלות ה-API הייתה ₪40,000 בחודש."

עלויות AI שונות מהותית מעלויות IT מסורתיות:

• שרתים מסורתיים: עלות קבועה ידועה מראש
• AI: עלות משתנה לפי שימוש — כל שאלה עולה כסף

FinOps לAI הוא המסגרת לניהול, ניטור ואופטימיזציה של עלויות AI.

---

2. מבנה עלויות AI — מה באמת עולה כסף

מושגי מפתח

• Token — יחידת המדידה ב-LLM. בערך 0.75 מילים באנגלית, 0.5 בעברית. ה"מטר" שלפיו משלמים.
• Input Tokens — הטקסט שאתה שולח למודל (השאלה + ההקשר)
• Output Tokens — הטקסט שהמודל מחזיר (התשובה). יקר יותר מ-input
• Context Window — כמה tokens המודל יכול "לזכור" בשיחה אחת. ממוסן לפי מודל.
• Inference — פעולת הרצת המודל לקבלת תשובה. זה שם העלות העיקרית.
• GPU — מעבד גרפי — הלב של AI. יקר בהרצה, אבל מהיר פי 100+ ממעבד רגיל (CPU) למשימות AI.
• Fine-Tuning — אימון מחדש של מודל קיים על נתונים ספציפיים. עלות חד-פעמית גבוהה.
• RAG — Retrieval Augmented Generation — חלופה ל-fine-tuning: מביאים מידע רלוונטי ב-context. זול יותר.
• Batch API — שליחת בקשות "אצוות" לעיבוד לא-מיידי. בדרך כלל 50% זול יותר מ-real-time.
• FinOps — Framework לשיתוף אחריות על עלויות ענן בין IT, פיננסים ועסקים

מבנה עלויות פרויקט AI טיפוסי:

עלויות AI:
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
LLM API (Inference)         35-60%
תשתית ענן (GPU/CPU/Storage) 20-35%
פיתוח ותחזוקה              15-25%
כלי ניטור ואבטחה            5-10%
הכשרה ושינוי ארגוני         5-15%
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━

---

3. תמחור LLM — כמה באמת עולה

מחירוני מודלים מרכזיים (לכל מיליון tokens):

| מודל | Input | Output | מתאים ל | |------|-------|--------|---------| | GPT-4o | $2.50 | $10.00 | כתיבה מורכבת, ניתוח | | GPT-4o mini | $0.15 | $0.60 | שאלות פשוטות, סיווג | | Claude 3.5 Sonnet | $3.00 | $15.00 | ניתוח מעמיק, קוד | | Claude 3 Haiku | $0.25 | $1.25 | מהיר וזול, סיווג | | Gemini 1.5 Pro | $1.25 | $5.00 | מסמכים ארוכים | | Gemini 1.5 Flash | $0.075 | $0.30 | נפח גבוה, מהיר |

מחשבון עלות מהיר:

שאלה ממוצעת: ~500 tokens input + ~300 tokens output

GPT-4o: (500 × $2.50 + 300 × $10.00) / 1,000,000
      = ($1.25 + $3.00) / 1,000,000
      = $0.00425 לשאלה

1,000 שאלות ביום = $4.25/יום = $127.50/חודש

GPT-4o mini: $0.00038 לשאלה
1,000 שאלות ביום = $0.38/יום = $11.25/חודש

חיסכון במעבר: 91% !

---

4. אסטרטגיות אופטימיזציה

אסטרטגיה 1: בחר את המודל הנכון

לא כל שאלה צריכה את המודל הכי חזק. מדרג מומלץ:

שאלה פשוטה/סיווג/תמצות קצר
    ↓ Haiku / Flash / Mini (זול ×10-20)

שאלה בינונית / ניתוח / כתיבה
    ↓ Sonnet / GPT-4o mini / Gemini Flash

ניתוח מורכב / קוד / הסקה
    ↓ GPT-4o / Claude Sonnet / Gemini Pro

כלל: התחל מהמודל הזול ביותר. שדרג רק כשהתוצאות לא מספיקות.

אסטרטגיה 2: Prompt Engineering לחיסכון

כל token שנשלח — עולה כסף. System prompt ארוך = תשלום על כל שאלה.

❌ יקר: System prompt של 2,000 tokens
   2,000 × $0.0025 × 10,000 שאלות/חודש = $50/חודש רק על ה-system prompt

✅ חכם: System prompt של 200 tokens (מרוכז ויעיל)
   מחיר: $5/חודש — חיסכון $45/חודש

אסטרטגיה 3: Caching

שמירת תשובות לשאלות חוזרות:

ללא caching:    1,000 אנשים שואלים "מה שעות הפתיחה?"
                = 1,000 קריאות API = ₪40

עם caching:     שאלה ראשונה → API → שמירה בcache
                999 שאלות הבאות → cache → ₪0
                = ₪0.04 סה"כ — חיסכון 99%

אסטרטגיה 4: Batch במקום Real-Time

| תרחיש | Real-Time | Batch | חיסכון | |-------|-----------|-------|--------| | סיווג 10,000 מסמכים | ₪200 | ₪100 | 50% | | ניתוח דוחות לילה | ₪300 | ₪150 | 50% | | יצירת תוכן | ₪150 | ₪75 | 50% |

---

5. מבנה FinOps לצוות AI

תפקידים ב-FinOps:

┌─────────────────────────────────────────┐
│              FinOps Council             │
├──────────────┬──────────────────────────┤
│   Engineering│   Finance    │  Business  │
│   (IT/DevOps)│  (CFO/Budget)│  (CDO/AI)  │
│              │              │            │
│ • ניטור טכני │ • תקציב      │ • ROI      │
│ • אופטימיזציה│ • חיוב       │ • עדיפויות │
│ • תשתית      │ • דיווח      │ • יעדים    │
└──────────────┴──────────────┴────────────┘

4 שלבי FinOps:

שלב 1: Inform — מה אנחנו משלמים?

• Dashboard בזמן אמת של עלויות AI
• חלוקה לפי מוצר / צוות / שירות
• התראות על חריגה מתקציב

שלב 2: Optimize — איפה אפשר לחסוך?

• זיהוי שאלות חוזרות לcaching
• בחינת Batch alternatives
• ניתוח "האם המודל הנכון?"

שלב 3: Operate — מיסוד ושגרה

• סקירה חודשית של עלויות vs ROI
• FinOps "שיחת שעה" חודשית: IT + פיננסים + עסקים
• Showback / Chargeback לצוותים

שלב 4: Scale — גדילה בשליטה

• תקצוב נכון לצמיחה
• Rate limits ו-quotas לפי צוות
• Reserved capacity במידת הצורך

---

6. KPIs ל-AI FinOps

| מדד | הגדרה | יעד | |-----|-------|-----| | Cost per Query | עלות ממוצעת לשאלה | מוגדר לפי מוצר | | Cost per User | עלות AI לעובד/לחודש | ≤ ROI שנוצר | | Cache Hit Rate | % שאלות שנענו מcache | >30% | | Batch Ratio | % שאילתות ב-Batch | >40% | | Utilization | % ניצול GPU/תשתית | 60-80% | | ROI Ratio | ₪ חסכון / ₪ עלות AI | >1.5× |

---

7. תרגילים