Sakana AI ने 12 अक्टूबर को MASS नाम की शोध पद्धति पेश की। इसमें एक ही भाषा मॉडल काम हल करता है, कार्यप्रवाह सुधारता है और परिणाम का मूल्यांकन करता है। उद्देश्य एजेंट टीम के काम को उनके साझा मॉडल के लिए उपयोगी प्रशिक्षण सामग्री बनाना है। यह नया उपभोक्ता उत्पाद या बाहरी निगरानी के बिना असीम सुधार का प्रमाण नहीं है।
प्रयोग Qwen3.6-27B से शुरू हुआ, जिसके खुले वेट्स और 27 अरब पैरामीटर हैं। शोधकर्ताओं ने दो प्रशिक्षण चक्र किए। दूसरे के बाद चार शोध बेंचमार्क में प्रति आउटपुट टोकन स्कोर शुरुआती स्तर का 1.2 से 1.6 गुना हुआ। यह माप गुणवत्ता और आउटपुट मात्रा को जोड़ता है; इसका मतलब उतने अनुपात में कम रनटाइम या हर क्षेत्र में 1.6 गुना बुद्धिमत्ता नहीं है।
टीम अपने साझा मॉडल को कैसे सिखाती है
पहले मॉडल एजेंटों में काम बांटने, जानकारी पहुंचाने और परिणाम जांचने के तरीके खोजता है। इस दौरान वेट्स स्थिर रहते हैं। मूल्यांकनकर्ता परिणामों की तुलना करके बेहतर परिणाम का कारण बताता है, जबकि अनुकूलक प्रक्रिया बदलता है। इस तरह अतिरिक्त प्रशिक्षण से मॉडल बदलने से पहले काम का संगठन सुधर सकता है।
फिर प्रणाली चुने हुए निष्पादन रिकॉर्ड से सीखती है: बातचीत, टूल कॉल और टीम के काम के परिणाम। अद्यतन मॉडल अगले चक्र में फिर तीनों भूमिकाएं निभाता है। यह चैटबॉट से अपना जवाब जांचने को कहने से अलग है: इसमें व्यवस्थित कार्यप्रवाह खोज और वेट्स का अपडेट है, केवल बातचीत में जवाब दोबारा लिखना नहीं।
दिलचस्प परिणाम और उसकी सीमाएं
कृत्रिम कार्य वित्त, रोबोटिक्स और फार्मेसी से जुड़े थे। दूसरे मॉडलों पर आधारित बाहरी मूल्यांकनकर्ताओं ने परिणाम जांचे, लेकिन उनके स्कोर सीखने के चक्र में नहीं दिए गए। इससे जांचा जा सकता है कि सुधार प्रणाली के अपने मूल्यांकन के बाहर भी दिखता है या नहीं। फिर भी दूसरे मॉडल का निर्णय वैज्ञानिक सत्य नहीं बन जाता और क्षेत्र के उपयुक्त प्रयोगों की जगह नहीं लेता।
सुधार का हस्तांतरण भी असमान था। MLR-Bench, DSBench, ScienceAgentBench और AstaBench में प्रति टोकन स्कोर बढ़ा। Terminal-Bench 2.0 और SWE-bench Verified में अनुपात शुरुआती स्तर के 0.96 और 0.94 रहे। यानी हर प्रकार का काम बेहतर नहीं हुआ। एजेंट बनाने वाली टीमों को अपने लक्ष्य कार्य अलग जांचने चाहिए, शोध में बढ़त को हर कोडिंग काम में बेहतर क्षमता नहीं मानना चाहिए।
मुख्य जोखिम उसी विशेषता से निकलता है जिस पर प्रयोग आधारित है: हल करने वाला और जांचने वाला एक मॉडल साझा करते हैं, इसलिए गलतियां और कमजोरियां भी साझा हो सकती हैं। अच्छे अंक पाने वाली गलती पर प्रशिक्षण उसे मजबूत कर सकता है। MASS इस चक्र को जांचने का व्यावहारिक तरीका देता है। आज इसका मूल्य शोध पद्धति, प्रकाशित कोड और लगातार स्वतंत्र जांच में है, अकेले अपनी प्रगति की निगरानी करने वाले एजेंट के वादे में नहीं।