סיימון ויליסון דיווח ב-3 בנובמבר 2026 כי מודל שפה פתוח שהריץ במחשב הנייד שלו הצליח לזהות כמה משחקים מתוך משקולות של רשתות עצביות קטנות. בניסוי שתיאר, Qwen 3.8 27B זיהה את Breakout ואת Pong, נתן תיאור בסגנון Pac-Man, ונכשל בזיהוי Freeway. זו בדיקה עצמאית מעניינת של משימה מצומצמת, ולא הוכחה שמודל יכול להבין או לשפר כל רשת רק ממבט במספרים.
הניסיון של ויליסון בא בעקבות פרסום של ריקייה טאקהי, ג'יידן טאו, אלכס ג'אנג ועומר חטאב בשם Sparks of Weight-Space Programming. המחברים, שפרסמו את עבודתם כפוסט ב-2 בנובמבר, מתארים גם זיהוי משקולות וגם שינוי שלהן באמצעות GPT-6 Astra. אבל אלה ניסויים שונים: ויליסון בדק זיהוי ללא כלי חישוב, ואילו השיפור המדווח בביצועים המתמטיים של מודל שפה נעשה באמצעות Python ומשוב מהרצות.
מה בדיוק מנסים לקרוא בתוך רשת עצבית
משקולות הן ערכים מספריים שקובעים כיצד אותות עוברים ומשתלבים בתוך רשת עצבית. בתהליך אימון רגיל משנים את הערכים האלה על בסיס דוגמאות ומדד ביצוע. בעבודה הנוכחית החוקרים שאלו אם מודל שפה יכול להסיק משהו על רשת אחרת מתוך הערכים והמבנה שלה, ולעיתים גם לבחור שינוי ממוקד בהם. זה שונה מלהסביר קוד שמתאר את תהליך האימון.
במשימת זיהוי המשחקים לא נמסרו רק מספרים ללא הקשר. לפי ההנחיות שפרסמו החוקרים, המודל קיבל תיאור של לוח בגודל 10 על 10, ובתוכו אזור משחק של 8 על 8, לצד הסבר על ערוצי הקלט. הערוצים סימנו את השחקן, עצמים נעים, מטרות תגמול, מכשולים ומידע מהתמונה הקודמת. גם הפעולות האפשריות ומבנה הרשת הוסברו לו מראש.
לכל אחת מארבע הרשתות היו 17,253 פרמטרים ואותו מבנה. המשקולות הוצגו כמספרים מעוגלים לשלוש ספרות אחרי הנקודה. ויליסון כתב שבדק שההנחיות זהות פרט למשקולות. זה מצמצם אפשרות לזהות את המשחק לפי הבדל גלוי בהנחיה, אך עדיין מדובר ברשת קטנה עם הסברים על משמעות הקלט, ולא במודל גדול ובלתי מוכר שהוצג בלי שום מידע מלווה.
מה הצליח במחשב הנייד, ומה לא
ויליסון השתמש ב-Qwen 3.8 27B דרך LM Studio, ללא אימון נוסף למשימה. לדבריו, היה עליו להגדיל את חלון ההקשר משום שברירת המחדל לא הספיקה. ההוראה למודל אסרה הפעלת קוד ומחשבון וביקשה תשובה אחת מתוך המשקולות. עצם השימוש בתוכנה להרצת מודל אינו אומר שהמודל קיבל כלי לבדיקת הרשת שעליה נשאל.
בפלטים שהציג ויליסון, המודל זיהה Breakout והצהיר על ביטחון של 88%, זיהה Pong עם 75%, ותיאר משחק דמוי Pac-Man עם 72%. אלה הצהרות ביטחון של המודל לגבי תשובותיו. הן אינן שיעור הצלחה שנמדד בסדרה גדולה של ניסויים, ואינן אומרות ש-88 מתוך 100 רשתות יזוהו נכון. ההבדל חשוב במיוחד כשהמספרים נראים כמו תוצאה של מבחן.
ב-Freeway המודל נכשל וענה שמדובר במשחק דמוי Pac-Man. ויליסון תיאר בנפרד ניסיון עם Kimi K3.1 Pro דרך OpenRouter, שזיהה Breakout לאחר 9 דקות ו-41 שניות. הזמן שייך להרצה הזאת, ולא למפרט ביצועים כללי. גם ההצלחות וגם הכישלון נחוצים כדי להבין את מה שהודגם: כמה זיהויים משכנעים, לצד מגבלה גלויה, בלי אומדן מבוסס לדיוק רחב יותר.
השיפור במתמטיקה הגיע מניסוי אחר
המספר הבולט בפרסום המקורי הוא עלייה מ-7.9% ל-48.1% במבחן MATH-500 לאחר שינוי משקולות Qwen3.5-0.8B. זו תוצאה שעליה דיווחו המחברים, ולא מדידה של ויליסון. גם שם המודל שונה: Qwen3.5-0.8B היה יעד העריכה, בעוד Qwen 3.8 27B היה אחד המודלים שוויליסון הפעיל כדי לזהות רשתות משחקים.
לפי תיאור הניסוי המקורי, Astra קיבל סביבת Python עם המשקולות, בעיות תרגול מתוך ערכות האימון GSM8K ו-MATH ותקציב להרצות קדימה. בתוצאה המובילה התקציב היה 50 הרצות, וכל הרצה הייתה יכולה לכלול כמה בעיות. החוקרים אסרו אימון באמצעות גרדיאנטים, אך אפשרו קוד ובדיקה של התנהגות המודל. לכן 'בלי אימון רגיל' אינו שקול ל'בלי כלים' או ל'בלי משוב'.
המחברים מתארים שינוי ב-131,072 משקולות, כ-0.016% מהמודל, בשתי שכבות. לפי ההסבר שלהם, העריכה הפחיתה נטייה להיתקע בלולאות חשיבה חוזרות. שיעור ההגעה למגבלת הטוקנים בטבלה שלהם ירד מ-93.0% ל-33.1%. זה מספק הקשר לתוצאה המתמטית: התיקון עשוי לאפשר השלמת תשובות שנקטעו, ולא מעיד כשלעצמו על יצירת יכולת חדשה מאפס.
למה נקודת הפתיחה משנה את המשמעות
הניסוי הפעיל מצב חשיבה ואפשר עד 32,768 טוקנים לתשובה. כרטיס המודל של Qwen מזהיר שהגרסה הקטנה הזאת מועדת ללולאות כאשר מצב החשיבה מופעל, ומציין שמצב ברירת המחדל שלה אינו מצב חשיבה. לכן אין לקרוא את ציון ה-7.9% כתיאור כללי של יכולתו המתמטית של המודל בכל תצורה סבירה. זהו ציון בתנאים מסוימים, וההשוואה צריכה להישאר צמודה אליהם.
גם המחברים עצמם מציגים גבול. בניסוי נוסף על Gemma 3 270M, שלפי עבודתם כמעט אינו נתקע בלולאות, הם לא ביססו שיפור מקביל. ציון הבסיס היה 6.8%, ובתקציב של 50 הרצות התקבל 7.0%. הם מפרשים זאת כהבדל בין הסרת מכשול שמסתיר יכולת קיימת לבין הוספת יכולת שהמודל אינו מחזיק בה. גם זו פרשנות שלהם לתוצאות מוגדרות, לא כלל שהוכח לכל מודל.
הפרסום של יומני ניסוי וקבצי שינוי מאפשר לאחרים לבחון את התהליך, אך אינו הופך כל תוצאה לשחזור עצמאי מלא. כדי להרחיב את המסקנה יידרשו השוואות בתנאי הפעלה נוספים, רשתות אחרות והרצות חוזרות. ובזיהוי המשחקים, חשוב לבדוק גם מה קורה כאשר משנים או מסירים חלק מהמידע על מבנה הרשת. התוצאות הנוכחיות אינן מספקות לבד את כל ההשוואות האלה.
מה נשאר אחרי שמפרידים בין שני הניסויים
ויליסון כתב שקשה לו לעקוב אחר חלק מההסברים שהמודלים הפיקו, והזהיר שחלק מהדיון סביב העבודה מרחיק מעבר למה שמוצדק. טקסט הנמקה ארוך אינו בדיקה עצמאית של הדרך שבה התקבלה תשובה נכונה. הוא יכול לספק כיווני חקירה, אבל אין בו לבדו הוכחה שהמודל חישב במדויק את פעולת הרשת או הבין כל משקולת.
ההבחנה המועילה היא בין שלוש פעולות: לזהות למה רשת קטנה שימשה, לערוך רשת בעזרת כלים, ולמדוד את הרשת אחרי השינוי. לכל פעולה ראיות אחרות. הניסוי של ויליסון מוסיף תמיכה מוגבלת בראשונה; תוצאות המחברים מתארות את השתיים האחרות במסגרת מסוימת. חיבור כל אלה לכותרת אחת על 'קריאה וכתיבה של משקולות בלי כלים' מוחק את ההבדל המרכזי בעבודה.
החדשות נשארות מעניינות גם בגודלן המדויק. מודל פתוח שרץ מקומית נתן כמה זיהויים שימושיים מתוך מספרים ומבנה מוסבר, וחוקרים דיווחו על תיקון ממוקד שהפחית כשל במודל אחר. הכישלון ב-Freeway וההסתייגות לגבי נקודת הפתיחה אינם הערות שוליים. הם חלק מהממצא, והם קובעים מה אפשר ללמוד ממנו כבר עכשיו ומה עדיין דורש ניסוי נוסף.