15 अक्टूबर को Anthropic ने घोषणा की कि यह अपने एआई मॉडल और सुरक्षा प्रक्रियाओं में जोखिम मूल्यांकन के लिए कर्मचारियों के समान METR कर्मचारियों को आंतरिक पहुंच देने लगा। 6संगठन कर्मचारियों को उपकरण, कार्यालय स्थान और आंतरिक उपकरणों और प्रणालियों तक पहुंच मिली। इस व्यवस्था का उद्देश्य उन्हें नियमित बाहरी लेखा परीक्षणों द्वारा उजागर की गई जानकारी से अधिक देखने और अपने निष्कर्षों को सार्वजनिक रूप से प्रकाशित करने की अनुमति देना है।
पहुँच बढ़ने के साथ एक महत्वपूर्ण सीमा भी बनी हुई है। Anthropic का कहना है कि प्रकाशन पर उसका कोई वीटो नहीं है, लेकिन पूर्व-परिभाषित श्रेणियों में जानकारी के संवेदनशील विवरणों को हटाने की आवश्यकता हो सकती है। 16 अक्टूबर को जोड़े गए स्पष्टीकरण के अनुसार, यह कंपनी है जो अंततः इन श्रेणियों में शामिल क्या है यह निर्धारित करती है। METR को प्राप्त जानकारी और पहुँच की सीमा का वर्णन करने के लिए सीमित अधिकार प्राप्त हैं। इसलिए प्रकाशन की स्वतंत्रता और सूचना पर नियंत्रण अलग-अलग विषय हैं।
METR समझौते में क्या शामिल है?
Anthropic के अनुसार, टीम की पहुंच अपने आंतरिक जोखिम मूल्यांकन टीमों के लिए व्यापक रूप से निकट है। कंपनी के कर्मचारियों को टीम के साथ जानकारी साझा करने के लिए प्रोत्साहित किया जाता है, जैसे कि वे मॉडल अनुक्रमण जोखिमों पर काम करने वाले एक सहयोगी के साथ करते हैं। अपवादों में ग्राहक जानकारी, कानूनी रूप से विशेषाधिकार प्राप्त सामग्री और मॉडल वास्तुकला के बारे में जानकारी शामिल हैं। कंपनी इसे कार्यपरिवेश को खोलने की दिशा में महत्वपूर्ण कदम बताती है, लेकिन इसका अर्थ असीमित पहुँच नहीं है।
METR के भीतर भी यह व्यवस्था पूरे संगठन पर लागू नहीं होती। संयुक्त टीम बाइंडिंग समझौतों के तहत और अन्य METR कर्मचारियों से अलग-अलग कार्य करती है, जिसमें Anthropic के साथ अन्य परियोजनाओं में शामिल शोधकर्ता शामिल हैं। यह अंतर महत्वपूर्ण है: यह व्यवस्था प्रत्येक बाहरी भागीदार को आंतरिक जानकारी के सामान्य हस्तांतरण के बजाय मूल्यांककों के एक परिभाषित समूह से संबंधित है। यह व्यवस्था ग्राहक डेटा की जांच करने के लिए सार्वजनिक अनुमति नहीं देती है।
कंपनी का कहना है कि टीम जोखिम स्तरों, घटनाओं या प्रक्रियाओं के विश्लेषण प्रकाशित करने में सक्षम होगी। ये विभिन्न क्षेत्र हैं: एक खतरनाक कार्य को पूरा करने के लिए एक मॉडल की क्षमता का आकलन करना, पहले से ही हुई घटना की जांच करना और निर्णय लेने के तरीके की जांच करना। इनमें से प्रत्येक के लिये आंतरिक पहुँच प्रासंगिक हो सकती है। केवल दरवाजे को खोलने से यह नहीं तय होता है कि मूल्यांकनकर्ताओं को सामग्री की जांच करते समय क्या मिलेगा।
एक बाहरी निरीक्षण को भी आंतरिक जानकारी की आवश्यकता क्यों है?
एक उपयोगकर्ता इंटरफेस के माध्यम से एक मॉडल का परीक्षण यह दिखा सकता है कि यह कुछ परिस्थितियों में कैसे व्यवहार करता है। यह जरूरी नहीं है कि परीक्षणों को कैसे चुना गया था, विकासकर्ता को क्या पूर्व निष्कर्ष ज्ञात थे, या समय के साथ सुरक्षा कैसे बदली थी। इसलिए, बाहर से देखा गया परिणाम और कंपनी द्वारा आयोजित संदर्भ विभिन्न प्रश्नों के जवाब दे सकता है। एक व्यापक मूल्यांकन को मापी गई क्षमता और माप की सीमाओं के बीच अंतर करना चाहिए।
Anthropic इस व्यवस्था को इस जानकारी की खाई को भरने का एक तरीका के रूप में प्रस्तुत करता है, बिना किसी संवेदनशील विवरण को सार्वजनिक रूप से प्रकट किए। यह कंपनी द्वारा चुने गए दृष्टिकोण का वर्णन करता है; यह यह स्थापित नहीं करता है कि सभी अंतराल बंद कर दिए गए हैं। जब निष्कर्ष प्रकाशित किए जाते हैं, तो परिणाम, पहुंच की सीमा, बाहरी क्षेत्रों और उन प्रश्नों की जांच करना महत्वपूर्ण होगा जिनका जवाब देने के लिए मूल्यांकन को डिजाइन किया गया था। इस तरह की सीमाएं निष्कर्षों को समझने में मदद करती हैं, न कि उन्हें हटाने में।
Claude का उपयोग करने वाले एक संगठन के लिए, एक बाहरी मूल्यांकन दस्तावेज आपूर्तिकर्ता चयन प्रक्रिया के लिए अतिरिक्त सामग्री प्रदान कर सकता है। यह स्थानीय उपयोग के परिदृश्य की जांच के लिए एक प्रतिस्थापन नहीं है। एक प्रणाली जो ड्राफ्टिंग के लिए उपयुक्त है, स्वचालित रूप से उसी जोखिम प्रोफ़ाइल को नहीं प्राप्त करती है जब वह संचालन अनुमतियों वाले प्रणालियों से जुड़ी होती है। व्यावहारिक प्रश्न यही है कि किन क्षमताओं की जाँच हुई और उनका उपयोग किस संचालन परिवेश में होना है।
संवेदनशील विवरणों को हटाने की शक्ति के साथ प्रकाशित करने की स्वतंत्रता
इस सूचना में दो महत्वपूर्ण अंतर हैं: क्या मूल्यांकक एक निष्कर्ष प्रकाशित कर सकता है और इसके साथ क्या विवरण शामिल हो सकते हैं। Anthropic का कहना है कि METR कंपनी की पूर्व स्वीकृति के बिना प्रकाशित कर सकता है, जो सूचना की श्रेणियों पर प्रतिबंधों के अधीन है। यह स्पष्टीकरण कि कंपनी सूचना के वर्गीकरण में निर्णायक है, वाक्यांश "विना वीटो" के अर्थ को सीमित करता है। इन दोनों निर्देशों को साथ पढ़ना चाहिए।
इसका मतलब यह नहीं है कि कंपनी ने पहले से ही एक अप्रिय निष्कर्ष को अवरुद्ध कर दिया है या संवेदनशील विवरणों को हटाना उचित नहीं है। ग्राहक की जानकारी या विवरण जो हमलावरों की मदद कर सकते हैं, सुरक्षा की गारंटी दे सकते हैं। दूसरी ओर, जब कोई सामग्री सार्वजनिक दस्तावेज़ में नहीं दिखाई देती है, तो पाठक इसे स्वयं जांच नहीं सकता है। इसलिए, पहुँच और प्रकाशन प्रतिबंधों की व्याख्या, व्यवस्था का आकलन करने के लिए आवश्यक सबूतों का हिस्सा है, न कि केवल हाशिए पर एक प्रशासनिक विवरण।
किसी भी सुरक्षा रिपोर्ट को पढ़ते समय एक व्यापार ग्राहक इस अंतर का उपयोग कर सकता है। यह पूछने के लायक है कि किसने कार्य को परिभाषित किया, कौन सी प्रणालियों और संस्करणों का परीक्षण किया गया था और कौन प्रकाशन को सीमित कर सकता है। इन प्रश्नों के उत्तर देने के लिए किसी विशेष विधि की आवश्यकता नहीं है। इन प्रश्नों को पूछना उन निष्कर्षों को अलग करने में मदद करता है जो व्यापक जांच पर आधारित हैं और उन निष्कर्षों से जो अभी भी केवल कंपनी द्वारा रखी गई जानकारी पर निर्भर हैं।
सभी के लिए एक व्यवस्था के बजाय पहुँच के3स्तर
Anthropic मूल्यांकनकर्ताओं के साथ सहयोग के 3 स्तर बताती है। प्रथम स्तर पर, जांच सीमित है और प्रकाशन के लिए कंपनी की स्वीकृति की आवश्यकता होती है। दूसरे स्तर पर, आप अनुमति के बिना प्रकाशित कर सकते हैं, सूचना की श्रेणियों पर प्रतिबंधों के अधीन। तीसरा स्तर एक आंतरिक पहुँच सीमा जोड़ता है जो METR के साथ व्यवस्था में वर्णित है। इसका मतलब यह है कि "बाह्य मूल्यांकक" शब्द वास्तव में परीक्षण किया जा सकता है कि समझने के लिए पर्याप्त नहीं है।
अन्य सहयोग विभिन्न चरणों में हैं। कंपनी SecureBio, Accenture और Faculty के साथ काम करने का वर्णन करती है, जबकि यह भी उल्लेख करती है कि प्रारंभिक भागीदारी में अधिक सीमित पहुंच और प्रकाशन अधिकार शामिल हैं। यह नहीं मानना चाहिए कि इन सभी संस्थाओं को पहले ही METR जैसी पहुँच मिल चुकी है। सहयोग पर शुरुआती बातचीत भी आकलन करने या उसके निष्कर्ष सार्वजनिक करने के बराबर नहीं है।
अतिरंजित निष्कर्ष निकाले बिना जानकारी का उपयोग कैसे करें
सुरक्षा और खरीद टीमों को उन दस्तावेजों पर अनुसंधान करना चाहिए जिन्हें मूल्यांकनकर्ता प्रकाशित करते हैं और उन्हें उन लेखा परीक्षणों से जोड़ते हैं जिन्हें वे स्वयं करते हैं। आप दस्तावेज कर सकते हैं कि एजेंट को क्या कार्य करने की अनुमति है, वह क्या डेटा देखता है और जब मानव स्वीकृति की आवश्यकता होती है। यह सामान्य सुरक्षा दावों और वास्तविक उपयोग वातावरण के बीच तुलना की अनुमति देगा। निरीक्षक की पहुँच को विस्तारित करना स्वयं ग्राहक की प्रणालियों में अनुमतियों को बदलता नहीं है।
नवीनता उस निगरानी व्यवस्था में है जिसे कंपनी किसी बाहरी टीम के लिए खोल रही है। इस व्यवस्था से सार्वजनिक मूल्यांकन के आधार को व्यापक बनाया जा सकता है, लेकिन इसका मूल्य निष्कर्षों की गुणवत्ता और उनकी सीमाओं की व्याख्या पर भी निर्भर करेगा। इस प्रकार, यह अधिक विस्तृत और अधिक विस्तृत जानकारी प्रदान करता है। इस समझौते में मॉडलों या उनके प्रत्येक संभावित उपयोग के साथ व्यवहार करने के लिए कोई आधार नहीं है, क्योंकि यह सुरक्षा के लिए पूरी तरह से अनुमोदित है।