צוות CoreAI של ServiceNow פרסם ב-2 באוקטובר 2026 את AutoSynthData, שיטה ליצירת נתוני אימון בהתאם למשימות שסוכן AI מתקשה לבצע. במקום להוסיף עוד דוגמאות באופן כללי, המערכת משתמשת בכישלונות של מודל היעד ובהצלחות של מודל חזק יותר כדי לבחור במה להתמקד. התוצאות שפורסמו נוגעות לניסויים בסביבת EnterpriseOps-Gym, ולא להפעלה מוכחת בכל ארגון.
בניסוי בתחום Hybrid נוצרו 2,000 דוגמאות בכ-18 שעות. לפי החוקרים, האימון העלה את ממוצע Pass@1 ב-7.2 נקודות אחוז, שיפור יחסי של 35%. בניסוי ITSM נוצרו 1,994 דוגמאות ב-66 שעות, וממוצע Pass@1 עלה מ-18.77% ל-27.18%. הנתונים מתארים את מערכי הניסוי שפורסמו; אין להשוות את משך יצירת הנתונים בין השניים בלי להתחשב בהבדלים ביניהם.
למה סוכן יכול להסביר היטב ובכל זאת להיכשל
סוכן ארגוני אינו נבחן רק על המשפט האחרון שהוא כותב. אם התבקש לעדכן בקשת שירות, עליו למצוא את הבקשה הנכונה, להבין את ההרשאות ולבצע את השינוי המתאים. הודעת סיום משכנעת לא מתקנת מצב שבו עודכנה רשומה אחרת.
כרטיס הנתונים של EnterpriseOps-Gym מתאר סביבת הדמיה עם מסדי נתונים סינתטיים, כלים פעילים ויכולת לאתחל את הסביבה בין ניסויים. המדידה בוחנת את מצב המערכת לאחר פעולות הסוכן, באמצעות בדיקות ניתנות להרצה. הדגש הוא על התוצאה שהושגה, ולא על דרישה שכל סוכן יבחר בדיוק אותו רצף פעולות.
המאגר כולל 1,150 משימות שנבנו בידי מומחים, על פני 8 תחומים ארגוניים, עם 512 כלים ו-164 טבלאות נתונים. המספרים מסבירים מדוע זו אינה בחינה רגילה של שאלות ותשובות: פעולה עשויה להשפיע על מידע שמשימה מאוחרת יותר תלויה בו.
לדוגמה, בסביבת בדיקה אפשר לבקש שינוי ביומן תוך שמירה על משתתפים מסוימים. תוצאה נכונה צריכה לכלול גם את העדכון שהתבקש וגם את הפרטים שהיה אסור לשנות. עצם העובדה שקיימת רשומה חדשה אינה מספיקה. הדוגמה ממחישה את אופי הבדיקה, ואינה תוצאה חדשה שהחוקרים דיווחו עליה.
כישלון הופך לנושא לימוד
לפי פרסום AutoSynthData, משימות האבחון מתורגמות לתיאורי יכולות, ומהם נוצרים תרגילים חדשים. המחולל אינו מקבל את הניסוחים והמסלולים המקוריים של משימות ההערכה. לפני קבלת דוגמה לאימון, נבדקים גם הפתרון וגם מנגנון האימות. כך מנסים להימנע מאימון על משימה שנראית סבירה אך אי אפשר לבצע אותה.
ההבחנה בין זיהוי חולשה להעתקת מבחן חשובה. אם מודל ראה את אותה שאלה באימון, הצלחה מאוחרת בה עשויה לשקף זיכרון של הדוגמה. כדי לבדוק למידה של יכולת, צריך לשנות את המצב, את השמות ואת פרטי הבקשה, ולראות אם אותה מיומנות עובדת גם בתנאים החדשים.
יש גם שאלה לגבי הבודק עצמו. אם תרגיל מבקש להעביר משימה לצוות מסוים, בודק שמוודא רק שהסטטוס השתנה עלול לאשר תוצאה שגויה. מנגד, בודק שדורש ניסוח מסוים עשוי לדחות תוצאה תקינה. לכן איכות נתוני האימון כוללת גם את איכות ההגדרה של הצלחה.
זו נקודה שמבדילה בין ייצור טקסט בכמות גדולה לבין בניית חומר לימוד שימושי. מספר הדוגמאות חשוב, אבל הוא אינו מגלה אם הן מגוונות, אפשריות ומדויקות. אוסף גדול של תרגילים כמעט זהים יכול להשאיר את אותה חולשה מחוץ למבחן.
גם בחירת המקרים לבדיקה יכולה לשנות את התמונה. אם אוסף האימות מכיל רק משימות שבהן מותר לבצע פעולה, הוא לא יבדוק היטב את היכולת לעצור כשאין הרשאה. אם הוא מכיל רק בקשות ברורות, הוא לא יגלה כיצד הסוכן מתמודד עם הוראה שאפשר לפרש בשתי דרכים.
לכן צוות שמאמץ גישה של אימון לפי כשלים צריך לשמור גם תיעוד של מה שלא נכנס לאוסף: אילו סוגי משימות הוחרגו, אילו כלים לא היו זמינים ואילו תנאים לא נבדקו. מידע כזה מאפשר לקרוא את ציון ההצלחה בגבולות הנכונים, במקום להפוך תוצאה מקומית לטענה כללית.
המחקר הקודם מסביר את הבעיה, לא את מצב כל המודלים כיום
המאמר המקורי על EnterpriseOps-Gym הוגש במרץ 2026. מחבריו בדקו 14 מודלים ומצאו פערים בתכנון ובהפעלת כלים. לפי התקציר, מתן תוכניות פעולה אנושיות אידאליות שיפר ביצועים ב-14 עד 35 נקודות אחוז. החוקרים ראו בכך סימן לכך שהתכנון הוא גורם מגביל משמעותי בסביבה שבדקו.
הם דיווחו גם על קושי של סוכנים לסרב למשימות שאי אפשר להשלים. זהו כשל מסוג אחר: מערכת שאינה יודעת לעצור יכולה לבצע פעולות שאינן מקרבות לפתרון. עם זאת, תוצאות ממרץ אינן דירוג עדכני של מודלים שהושקו מאז, ואין להשתמש בהן כדי לקבוע את ביצועיהם כיום.
הרקע הזה עוזר להבין את שאלת המחקר החדשה. אם חולשה נמצאת בתכנון של פעולות, תוספת של עובדות כלליות למודל לא בהכרח תטפל בה. ייתכן שנדרשים תרגילים שבהם יש תלות בין צעדים, מידע חסר או פעולה שאסור לבצע. זו פרשנות למבנה הבעיה, ולא הוכחה שכל חולשה נפתרת באמצעות אותה שיטה.
שיפור במבחן צריך להישאר שיפור שניתן לבדוק
במאמר רקע נפרד מינואר 2026, Anthropic מבחינה בין בדיקות יכולת, שבוחנות מה סוכן עדיין מתקשה לעשות, לבין בדיקות נסיגה, שנועדו לוודא שיכולות שכבר עבדו נשמרות. ההבחנה מסייעת לפרש אימון נוסף: שיפור במשימה ממוקדת אינו פוטר מבדיקה שהמודל לא נסוג במשימות אחרות.
אותו מאמר מתאר שילוב של בדיקות קוד, הערכה באמצעות מודל ובדיקה אנושית. לכל גישה מגבלות: בדיקה קשיחה יכולה להחמיץ פתרון תקין בניסוח אחר, ומעריך מבוסס מודל זקוק לכיול. אין בכך אימות עצמאי של AutoSynthData, אלא רקע הנדסי לשאלה כיצד להעריך מערכת מהסוג הזה.
לצוות בישראל שבונה סוכן לעבודה בעברית, המסקנה המעשית היא להתחיל מאוסף כשלים אמיתי ומוגדר היטב. אפשר לבדוק, למשל, בלבול בין שמות דומים, זיהוי של תאריך או פעולה במסמך הלא נכון. לאחר מכן נדרשת קבוצת בדיקה נפרדת, שלא שימשה ליצירת דוגמאות האימון.
הפרסום החדש אינו כולל הוכחה ייעודית לשיפור בעברית או התחייבות לחיסכון עסקי. הוא מציע דרך שיטתית לבחור מה הסוכן צריך ללמוד ומדווח על שיפור בשני תחומי ניסוי. ההרחבה החשובה הבאה תהיה לראות אם השיפור נשמר מול משימות חדשות, בסביבות שונות ועם בדיקות שמודדות גם טעויות שלא נועדו להופיע מלכתחילה.