גישה חדשה להנחיית מודלים גדולים (LLMs) שמחקה את הדרך שבה בני אדם חושבים – בקצרה וביעילות
🔑נקודות עיקריות:
- ✍️ שיטת Chain of Draft (CoD) היא שיטה חדשה שמחליפה את Chain of Thought (CoT) המסורתית, ומעודדת את המודל לייצר צעדי ביניים קצרים וממוקדים במקום הסברים ארוכים.
- 📉 התוצאה: ירידה של עד 92% במספר הטוקנים הדרושים – עם שמירה או אפילו שיפור ברמת הדיוק.
- ⚡️ הפחתת הטוקנים מקצרת את זמן התגובה ומוזילה את עלויות ההרצה – יתרון משמעותי עבור אפליקציות בזמן אמת.
🧾 דוגמה לפרומפט מוכן – ל-CoD:
“פתור את השאלה הבאה בשלושה שלבים קצרים:
- טיוטה (Draft): כתיבה מהירה של כיוון פתרון.
- בדיקה (Reflect): תיקון/אישור של הכיוון בקצרה.
- תשובה (Answer): ניסוח התשובה הסופית.
כל שלב במשפט אחד בלבד.”
🎯 המטרה: להכריח את המודל “לחשוב קצר”, בדיוק כמו שאנחנו נוהגים לחשוב בראש טיוטה לפני תשובה ברורה.
🧐 דעתי האישית:
השיטה של CoD מייעלת את תהליך החשיבה של המודל ומאפשרת דיוק רב יותר בפחות טקסט. זה חשוב במיוחד לעבודה בזמן אמת, אוטומציה, וחוויית משתמש יעילה.
הגישה הזו מביאה משהו חדש: לא רק תוצאה טובה, אלא תהליך מהיר, מדויק ו”אנושי יותר”. אם אתם מפתחים אפליקציות מבוססות LLM – כדאי לכם לבדוק את זה לעומק.
🔗 הקוד והנתונים זמינים לציבור: https://arxiv.org/pdf/2502.18600