ServiceNow की CoreAI टीम ने 2 अक्टूबर 2026 को AutoSynthData प्रकाशित किया। यह उन कार्यों के आधार पर ट्रेनिंग डेटा बनाने की विधि है जिन्हें पूरा करने में AI एजेंट को कठिनाई होती है। सामान्य रूप से और उदाहरण जोड़ने के बजाय प्रणाली लक्षित मॉडल की विफलताओं और अधिक शक्तिशाली मॉडल की सफलताओं से तय करती है कि ध्यान कहां देना है। प्रकाशित परिणाम EnterpriseOps-Gym वातावरण के प्रयोगों से जुड़े हैं, हर संगठन में सिद्ध संचालन से नहीं।
Hybrid क्षेत्र के प्रयोग में करीब 18 घंटे में 2,000 उदाहरण बनाए गए। शोधकर्ताओं के अनुसार, ट्रेनिंग से औसत Pass@1 में 7.2 प्रतिशत अंकों की बढ़ोतरी हुई, जो 35% का सापेक्ष सुधार है। ITSM प्रयोग में 66 घंटे में 1,994 उदाहरण बने और औसत Pass@1, 18.77% से बढ़कर 27.18% हो गया। आंकड़े प्रकाशित प्रयोग व्यवस्थाओं का विवरण हैं; दोनों के अंतर का ध्यान रखे बिना डेटा बनाने के समय की तुलना नहीं करनी चाहिए।
एजेंट अच्छी व्याख्या करके भी क्यों विफल हो सकता है
संगठनात्मक एजेंट को केवल उसके आखिरी लिखे वाक्य से नहीं परखा जाता। सेवा अनुरोध अद्यतन करने को कहा जाए तो उसे सही अनुरोध खोजना, अनुमतियां समझना और उचित बदलाव करना होगा। काम पूरा होने का विश्वसनीय संदेश उस स्थिति को सही नहीं कर देता जिसमें किसी दूसरे रिकॉर्ड को बदल दिया गया हो।
EnterpriseOps-Gym के डेटासेट कार्ड में कृत्रिम डेटाबेस, काम करने वाले टूल और प्रयोगों के बीच वातावरण को रीसेट करने की सुविधा वाला सिमुलेशन वातावरण बताया गया है। माप में चल सकने वाली जांच के जरिए एजेंट की कार्रवाइयों के बाद प्रणाली की स्थिति देखी जाती है। जोर हासिल हुए परिणाम पर है, इस मांग पर नहीं कि हर एजेंट बिल्कुल एक ही क्रम में कार्रवाइयां चुने।
डेटासेट में 8 संगठनात्मक क्षेत्रों के 1,150 विशेषज्ञ-निर्मित कार्य, 512 टूल और 164 डेटा तालिकाएं हैं। ये संख्याएं बताती हैं कि यह सामान्य सवाल-जवाब की परीक्षा क्यों नहीं है: एक कार्रवाई ऐसी जानकारी बदल सकती है जिस पर बाद का कार्य निर्भर हो।
मसलन, परीक्षण वातावरण में कुछ प्रतिभागियों को बरकरार रखते हुए कैलेंडर में बदलाव मांगा जा सकता है। सही परिणाम में मांगा गया बदलाव और वे विवरण, दोनों होने चाहिए जिन्हें बदलना मना था। केवल नया रिकॉर्ड मौजूद होना पर्याप्त नहीं है। यह उदाहरण जांच की प्रकृति समझाता है, शोधकर्ताओं की ओर से बताया गया नया परिणाम नहीं।
विफलता सीखने का विषय बनती है
AutoSynthData के प्रकाशन के अनुसार, कमजोरी पहचानने वाले कार्यों को क्षमताओं के विवरण में बदला जाता है और उनसे नए अभ्यास बनते हैं। उदाहरण बनाने वाली प्रणाली को मूल्यांकन कार्यों की मूल भाषा और कार्रवाई के रास्ते नहीं दिए जाते। किसी उदाहरण को ट्रेनिंग में लेने से पहले उसका समाधान और सत्यापन व्यवस्था, दोनों जांचे जाते हैं। उद्देश्य ऐसे कार्य पर ट्रेनिंग से बचना है जो उचित दिखे लेकिन पूरा ही न किया जा सके।
कमजोरी पहचानने और परीक्षा की नकल करने में अंतर जरूरी है। यदि मॉडल ने ट्रेनिंग में वही सवाल देखा हो, तो बाद की सफलता उदाहरण याद रहने का परिणाम हो सकती है। क्षमता सीखी गई है या नहीं, यह परखने के लिए स्थिति, नाम और अनुरोध के विवरण बदलकर देखना होगा कि वही कौशल नई परिस्थितियों में भी काम करता है या नहीं।
जांचकर्ता पर भी सवाल उठता है। यदि अभ्यास में काम किसी खास टीम को सौंपना हो, तो केवल स्थिति बदलने की पुष्टि करने वाला जांचकर्ता गलत परिणाम मंजूर कर सकता है। इसके विपरीत, खास शब्दावली की मांग करने वाला जांचकर्ता सही परिणाम खारिज कर सकता है। इसलिए ट्रेनिंग डेटा की गुणवत्ता में सफलता की परिभाषा की गुणवत्ता भी शामिल है।
यही बात बड़ी मात्रा में पाठ बनाने और उपयोगी शिक्षण सामग्री तैयार करने में अंतर करती है। उदाहरणों की संख्या जरूरी है, लेकिन वह नहीं बताती कि वे विविध, संभव और सही हैं या नहीं। लगभग एक जैसे अभ्यासों का बड़ा संग्रह उसी कमजोरी को बिना जांचे छोड़ सकता है।
जांच के मामलों का चयन भी तस्वीर बदल सकता है। सत्यापन संग्रह में केवल ऐसे कार्य हों जिनमें कार्रवाई की अनुमति है, तो वह अनुमति न होने पर रुकने की क्षमता ठीक से नहीं परखेगा। केवल स्पष्ट अनुरोध हों, तो वह नहीं बताएगा कि एजेंट दो तरह से समझे जा सकने वाले निर्देश को कैसे संभालता है।
इसलिए विफलताओं के आधार पर ट्रेनिंग अपनाने वाली टीम को यह भी दर्ज करना चाहिए कि संग्रह में क्या शामिल नहीं हुआ: कौन से कार्य प्रकार बाहर रखे गए, कौन से टूल उपलब्ध नहीं थे और कौन सी परिस्थितियां नहीं जांची गईं। इससे सफलता अंक को उसकी उचित सीमा में पढ़ा जा सकता है, स्थानीय परिणाम को सामान्य दावा बनाए बिना।
पहले का शोध समस्या समझाता है, आज के हर मॉडल की स्थिति नहीं
EnterpriseOps-Gym का मूल शोधपत्र मार्च 2026 में जमा किया गया था। लेखकों ने 14 मॉडल परखे और योजना बनाने तथा टूल इस्तेमाल करने में कमियां पाईं। सारांश के अनुसार, आदर्श मानवीय कार्रवाई योजनाएं देने से प्रदर्शन में 14 से 35 प्रतिशत अंकों का सुधार हुआ। शोधकर्ताओं ने इसे संकेत माना कि उनके जांचे वातावरण में योजना बनाना एक बड़ी बाधा थी।
उन्होंने यह भी बताया कि एजेंटों को ऐसे काम से इनकार करने में कठिनाई हुई जिन्हें पूरा नहीं किया जा सकता था। यह अलग तरह की विफलता है: कब रुकना है यह न जानने वाली प्रणाली ऐसी कार्रवाइयां कर सकती है जो उसे समाधान के करीब नहीं लातीं। हालांकि मार्च के परिणाम उसके बाद आए मॉडलों की वर्तमान रैंकिंग नहीं हैं और उनसे आज उनका प्रदर्शन तय नहीं करना चाहिए।
यह पृष्ठभूमि नए शोध का सवाल समझाती है। यदि कमजोरी कार्रवाइयों की योजना बनाने में हो, तो मॉडल में सामान्य तथ्य जोड़ने से जरूरी नहीं उसका समाधान हो। ऐसे अभ्यास चाहिए हो सकते हैं जिनमें चरण एक-दूसरे पर निर्भर हों, जानकारी अधूरी हो या कोई कार्रवाई करना मना हो। यह समस्या की बनावट की व्याख्या है, यह प्रमाण नहीं कि हर कमजोरी एक ही विधि से दूर होती है।
परीक्षण का सुधार ऐसा हो जिसे सत्यापित किया जा सके
जनवरी 2026 के एक अलग पृष्ठभूमि लेख में Anthropic क्षमता मूल्यांकन और प्रतिगमन मूल्यांकन में अंतर करती है। पहला देखता है कि एजेंट को अब भी क्या करने में कठिनाई है, जबकि दूसरा सुनिश्चित करता है कि पहले से काम करने वाली क्षमताएं बनी रहें। यह अंतर अतिरिक्त ट्रेनिंग समझने में मदद करता है: एक खास कार्य में सुधार होने से यह जांचने की जरूरत खत्म नहीं होती कि मॉडल दूसरे कामों में पीछे तो नहीं गया।
उसी लेख में कोड आधारित जांच, मॉडल आधारित मूल्यांकन और मानवीय समीक्षा के संयोजन का वर्णन है। हर तरीके की सीमाएं हैं: कठोर जांच अलग तरह से व्यक्त सही समाधान को चूक सकती है और मॉडल आधारित मूल्यांकनकर्ता को अंशांकन चाहिए। यह AutoSynthData का स्वतंत्र सत्यापन नहीं, बल्कि ऐसी प्रणाली को कैसे परखें इस सवाल की इंजीनियरिंग पृष्ठभूमि है।
हिब्रू में काम करने वाला एजेंट बना रही इजराइली टीम के लिए व्यावहारिक निष्कर्ष है कि वास्तविक और स्पष्ट परिभाषित विफलताओं के संग्रह से शुरू किया जाए। उदाहरण के लिए समान नामों में भ्रम, तारीख की पहचान या गलत दस्तावेज में कार्रवाई को परखा जा सकता है। इसके बाद अलग परीक्षण समूह चाहिए जो ट्रेनिंग उदाहरण बनाने में इस्तेमाल न हुआ हो।
नए प्रकाशन में हिब्रू में सुधार का विशेष प्रमाण या व्यावसायिक बचत की प्रतिबद्धता नहीं है। यह एजेंट को क्या सीखना चाहिए, इसे चुनने का व्यवस्थित तरीका देता है और दो प्रयोग क्षेत्रों में सुधार बताता है। अगला महत्वपूर्ण विस्तार यह देखना होगा कि नई जिम्मेदारियों, अलग वातावरण और ऐसी जांच में सुधार बना रहता है या नहीं जो उन गलतियों को भी मापती है जिन्हें शुरू से होना ही नहीं चाहिए था।