דילוג לתוכן הראשי
aivrit

עבודה בכמות? נתבו לדרגה הזולה

מאת ירון דויטשר עודכן לאחרונה:

טעות עלות נפוצה: להריץ את מודל הדגל על משימות שלא זקוקות לו. אם אתם מסווגים מאה פריטים, ממירים פורמט או מחלצים שדות מטקסט — אתם משלמים על חוכמה שלא משתמשים בה.

הכלל: עבודה מכנית בנפח הולכת לדרגת המודל הזולה; מודל הדגל שמור למשימות שבאמת דורשות שיקול דעת עמוק.

למה זה חשוב

לכל משפחת מודלים יש דרגה זולה ומהירה — הייקו 4.5 אצל קלוד, ובעולם המתחרה דרגות כמו לונה של GPT-5.6. הפער במחיר לטוקן בין הדרגה הזולה למודל הדגל הוא פי כמה, ועל נפח גדול זה מצטבר לכסף אמיתי. משימה מכנית — “סווג כל שורה לאחת משלוש קטגוריות” — לא נעשית טובה יותר על מודל דגל; היא רק יקרה יותר.

איך עושים את זה בפועל

  • בקלוד קוד: מחליפים מודל עם ‎/model‎ לפני ריצה בנפח, או מריצים סוכן משנה על מודל זול שאוסף את העבודה המכנית במקביל — ההרחבה בטיפ על סוכן משנה זול
  • הכלל ההפוך תקף גם הוא: אם המשימה דורשת דיוק ולא נפח, אל תרדו בדרגה רק כדי לחסוך — שם היקר משתלם

זה כפתור העלות הראשון. הכפתור השני, המשלים, הוא רמת המאמץ: לפעמים הפתרון אינו מודל אחר אלא מאמץ נמוך יותר על אותו מודל — להעלות מאמץ, לא להחליף מודל מסביר מתי כל אחד. התמונה המלאה של בחירת המודל: אופוס 5 מול פייבל 5.