نشر فريق CoreAI لدى ServiceNow في 2 أكتوبر 2026 طريقة AutoSynthData لإنشاء بيانات تدريب بناء على المهام التي يصعب على وكيل الذكاء الاصطناعي تنفيذها. وبدلا من إضافة أمثلة أكثر بصورة عامة، يستخدم النظام إخفاقات النموذج المستهدف ونجاحات نموذج أقوى لتحديد مواضع التركيز. وتتعلق النتائج المنشورة بتجارب في بيئة EnterpriseOps-Gym، وليس بتشغيل مثبت في كل مؤسسة.
في تجربة ضمن مجال Hybrid، ولدت 2,000 عينة في نحو 18 ساعة. وبحسب الباحثين، رفع التدريب متوسط Pass@1 بمقدار 7.2 نقطة مئوية، أي تحسن نسبي قدره 35%. وفي تجربة ITSM، ولدت 1,994 عينة خلال 66 ساعة، وارتفع متوسط Pass@1 من 18.77% إلى 27.18%. تصف الأرقام إعدادات التجارب المنشورة، ولا ينبغي مقارنة زمن توليد البيانات بينها دون مراعاة اختلافاتها.
لماذا قد يشرح الوكيل جيدا ويفشل رغم ذلك
لا يقيم الوكيل المؤسسي على أساس آخر جملة يكتبها فقط. فإذا طلب منه تحديث طلب خدمة، فعليه العثور على الطلب الصحيح وفهم الصلاحيات وتنفيذ التغيير المناسب. ورسالة إتمام مقنعة لا تصلح موقفا حدث فيه التحديث لسجل آخر.
تصف بطاقة بيانات EnterpriseOps-Gym بيئة محاكاة تضم قواعد بيانات اصطناعية وأدوات عاملة وإمكانية إعادة ضبط البيئة بين التجارب. ويفحص القياس حالة النظام بعد إجراءات الوكيل باستخدام اختبارات قابلة للتنفيذ. فالتركيز على النتيجة المحققة، وليس اشتراط أن يختار كل وكيل تسلسل الإجراءات نفسه تماما.
تضم مجموعة البيانات 1,150 مهمة أعدها خبراء عبر 8 مجالات مؤسسية، مع 512 أداة و164 جدول بيانات. وتوضح هذه الأرقام لماذا لا يتعلق الأمر باختبار أسئلة وأجوبة عادي: فقد يؤثر إجراء في معلومات تعتمد عليها مهمة لاحقة.
يمكن مثلا في بيئة اختبار طلب تعديل في التقويم مع الإبقاء على مشاركين معينين. ويجب أن تشمل النتيجة الصحيحة التحديث المطلوب والتفاصيل التي لا يجوز تغييرها معا. فمجرد وجود سجل جديد لا يكفي. يوضح المثال طبيعة الاختبار، وليس نتيجة جديدة أبلغ عنها الباحثون.
الإخفاق يتحول إلى موضوع للتعلم
بحسب منشور AutoSynthData، تحول المهام التشخيصية إلى أوصاف للقدرات، ومنها تولد تمارين جديدة. ولا يتلقى المولد الصياغات الأصلية أو مسارات تنفيذ مهام التقييم. وقبل قبول مثال للتدريب، يفحص كل من حله وآلية التحقق منه. والهدف تجنب التدريب على مهمة تبدو معقولة لكنها غير قابلة للتنفيذ.
والتمييز بين تحديد نقطة ضعف ونسخ اختبار مهم. فإذا رأى النموذج السؤال نفسه أثناء التدريب، فقد يعكس نجاحه فيه لاحقا تذكر المثال. ولاختبار تعلم قدرة، يجب تغيير الموقف والأسماء وتفاصيل الطلب، ثم ملاحظة ما إذا كانت المهارة نفسها تعمل في الظروف الجديدة أيضا.
وثمة سؤال يتعلق بأداة التحقق نفسها. إذا طلب تمرين إحالة مهمة إلى فريق معين، فقد تعتمد أداة لا تتحقق إلا من تغير الحالة نتيجة خاطئة. وفي المقابل، قد ترفض أداة تشترط صياغة محددة نتيجة صحيحة. لذلك تشمل جودة بيانات التدريب جودة تعريف النجاح أيضا.
وهذه نقطة تميز بين إنتاج كميات كبيرة من النص وبناء مادة تعلم مفيدة. عدد الأمثلة مهم، لكنه لا يكشف ما إذا كانت متنوعة وقابلة للتنفيذ ودقيقة. وقد تترك مجموعة كبيرة من التمارين شبه المتطابقة نقطة الضعف نفسها خارج الاختبار.
كما يمكن لاختيار حالات الاختبار أن يغير الصورة. فإذا تضمنت مجموعة التحقق مهاما يسمح فيها بتنفيذ الإجراء فقط، فلن تختبر جيدا القدرة على التوقف عند غياب الإذن. وإذا تضمنت طلبات واضحة فقط، فلن تكشف كيفية تعامل الوكيل مع توجيه يحتمل تفسيرين.
لذلك ينبغي للفريق الذي يتبنى التدريب بحسب الإخفاقات أن يوثق أيضا ما لم يدخل المجموعة: أنواع المهام المستبعدة، والأدوات غير المتاحة، والظروف التي لم تختبر. وتتيح هذه المعلومات قراءة درجة النجاح ضمن حدودها الصحيحة، بدلا من تحويل نتيجة محلية إلى ادعاء عام.
البحث السابق يشرح المشكلة، لا وضع جميع النماذج اليوم
قدمت الورقة الأصلية عن EnterpriseOps-Gym في مارس 2026. واختبر مؤلفوها 14 نموذجا ووجدوا فجوات في التخطيط واستخدام الأدوات. وبحسب الملخص، أدى تقديم خطط عمل بشرية مثالية إلى تحسين الأداء بمقدار 14 إلى 35 نقطة مئوية. واعتبر الباحثون ذلك مؤشرا على أن التخطيط عامل مقيد مهم في البيئة التي اختبروها.
وأبلغوا أيضا عن صعوبة واجهتها الوكلاء في رفض مهام لا يمكن إكمالها. هذا نوع آخر من الفشل: فقد ينفذ نظام لا يعرف متى يتوقف إجراءات لا تقربه من الحل. لكن نتائج مارس ليست ترتيبا حديثا للنماذج التي أطلقت بعد ذلك، ولا ينبغي استخدامها للحكم على أدائها اليوم.
تساعد هذه الخلفية على فهم السؤال البحثي الجديد. فإذا كانت نقطة الضعف في تخطيط الإجراءات، فلن تعالجها بالضرورة إضافة حقائق عامة إلى النموذج. وقد تلزم تمارين تتداخل فيها تبعيات الخطوات، أو تنقص فيها معلومات، أو يحظر فيها تنفيذ إجراء. هذا تفسير لبنية المشكلة، وليس إثباتا بأن كل نقطة ضعف تعالج بالطريقة نفسها.
التحسن في الاختبار يجب أن يبقى قابلا للتحقق
في مقالة توضيحية منفصلة من يناير 2026، تميز Anthropic بين تقييمات القدرة التي تفحص ما لا يزال الوكيل يجد صعوبة في فعله، واختبارات التراجع المصممة لضمان الحفاظ على القدرات التي كانت تعمل بالفعل. ويساعد الفرق على تفسير التدريب الإضافي: فتحسن مهمة محددة لا يعفي من التأكد من عدم تراجع النموذج في مهام أخرى.
وتصف المقالة نفسها الجمع بين اختبارات برمجية وتقييم بنموذج ومراجعة بشرية. ولكل نهج قيود: فقد يفوت الاختبار الصارم حلا صحيحا بصياغة مختلفة، ويحتاج المقيم القائم على نموذج إلى معايرة. وليس ذلك تحققًا مستقلا من AutoSynthData، بل خلفية هندسية لمسألة تقييم هذا النوع من الأنظمة.
لفريق في إسرائيل يبني وكيلا للعمل بالعبرية، تتمثل الخلاصة العملية في البدء بمجموعة حقيقية ومحددة جيدا من الإخفاقات. يمكن اختبار الخلط بين أسماء متشابهة، أو التعرف على تاريخ، أو تنفيذ إجراء في الوثيقة الخطأ، مثلا. وبعد ذلك تلزم مجموعة اختبار مستقلة لم تستخدم في توليد أمثلة التدريب.
لا يتضمن المنشور الجديد إثباتا مخصصا لتحسن بالعبرية أو تعهدا بتوفير مالي للأعمال. وهو يقدم طريقة منهجية لاختيار ما يحتاج الوكيل إلى تعلمه، ويبلغ عن تحسن في مجالين تجريبيين. وستكون الخطوة المهمة التالية معرفة ما إذا كان التحسن يستمر أمام مهام جديدة وفي بيئات مختلفة، وباختبارات تقيس أيضا أخطاء لم يكن يفترض وقوعها أصلا.