Sakana AI הציגה ב-12 באוקטובר את MASS, שיטת מחקר שבה אותו מודל שפה ממלא שלושה תפקידים: פותר משימות, משפר את דרך העבודה ושופט את התוצאה. המטרה היא להפוך עבודה של צוות סוכנים לחומר אימון שמועיל למודל המשותף לכולם. אין כאן מוצר צרכני חדש או הוכחה לכך שמערכת יכולה להשתפר ללא גבול וללא בקרה חיצונית לאורך זמן.
הניסוי התחיל במודל פתוח במשקלים של 27 מיליארד פרמטרים, Qwen3.6-27B. החוקרים ביצעו שני מחזורי למידה. לאחר המחזור השני, הציון ביחס למספר טוקני הפלט הגיע לפי 1.2 עד 1.6 מרמת הבסיס בארבעה מבחני מחקר. המדד מחבר איכות תוצאה וכמות פלט; הוא אינו אומר שזמן הריצה התקצר באותו יחס או שהמערכת חכמה פי 1.6 בכל תחום.
איך צוות מלמד את המודל המשותף
בשלב הראשון המודל בוחן דרכים שונות לחלק את המשימה בין סוכנים, להעביר ביניהם מידע ולבדוק תוצרים. המשקלים נשארים קבועים בזמן החיפוש הזה. תפקיד השופט הוא להשוות תוצאות ולהסביר איזו טובה יותר, ותפקיד המתכנן הוא לשנות את תהליך העבודה בהתאם. כך אפשר לשפר את ארגון העבודה עוד לפני שמתחילים לעדכן את המודל עצמו באמצעות אימון נוסף.
בשלב הבא המערכת לומדת מרישומי הביצוע שנבחרו: שיחות, קריאות לכלים ותוצאות שהתקבלו במהלך עבודת הצוות. המודל המעודכן חוזר למלא את שלושת התפקידים במחזור הבא. זו הבחנה חשובה לעומת צ'אטבוט שמקבל בקשה לבדוק את עצמו: כאן יש גם חיפוש שיטתי אחר תהליך עבודה וגם עדכון של משקלי המודל, ולא רק ניסוח חוזר של אותה תשובה בשיחה.
התוצאה המעניינת והגבול שלה
המשימות הסינתטיות עסקו בפיננסים, ברובוטיקה וברוקחות. שופטים חיצוניים המבוססים על מודלים אחרים העריכו את התוצרים, אך הציונים שלהם לא הוזנו ללולאת הלמידה. ההפרדה הזו מאפשרת לבדוק האם השיפור נראה גם מחוץ לשיפוט העצמי של המערכת. עם זאת, הערכה של מודל אחר אינה הופכת את התוצאה אוטומטית לאמת מדעית, ואינה מחליפה ניסוי מתאים בתחום עצמו.
גם ההכללה הייתה חלקית. השיפור במדד הציון לטוקן הופיע ב-MLR-Bench, DSBench, ScienceAgentBench ו-AstaBench. לעומתם, ב-Terminal-Bench 2.0 וב-SWE-bench Verified התקבלו יחסים של 0.96 ו-0.94 לעומת הבסיס. כלומר, הלמידה לא שיפרה כל סוג של משימה. לצוותים שבונים סוכנים, זו סיבה לבחון את משימות היעד שלהם בנפרד, ולא להסיק מתוצאה טובה במחקר על יכולת טובה יותר בכל עבודת קוד.
הסיכון המרכזי נובע מאותה תכונה שמאפשרת את הניסוי: הפותר והשופט חולקים מודל, ולכן עלולים לחלוק גם טעויות ונקודות עיוורון. אם שגיאה מקבלת ציון גבוה, אימון עליה עלול לחזק אותה. MASS מציעה דרך לבדוק את הלולאה הזו באופן מעשי. הערך כיום הוא בשיטת המחקר ובקוד שפורסם, לצד צורך מתמשך בבדיקות עצמאיות, ולא בהבטחה שסוכן כבר יכול לפקח על התקדמותו לבדו.