Anthropic और Accenture ने Anthropic के अपने विकास परिवेश के भीतर AI मॉडलों की जांच और मूल्यांकन के लिए नई साझेदारी घोषित की।
Anthropic के अनुसार दोनों कंपनियां अगले पांच वर्षों में यह क्षमता बनाने में कम से कम एक-एक अरब डॉलर निवेश करने की उम्मीद करती हैं।
व्यवस्था कैसे काम करेगी?
इस काम का नेतृत्व Accenture की विशेष AI इकाई Faculty करेगी।
टीमें अन्य कामों के साथ उन्नत मॉडलों में red teaming, alignment जांच और सुरक्षा तंत्र का मूल्यांकन करेंगी।
मुख्य विचार "embedded evaluation" है: बाहरी मूल्यांकनकर्ता कंपनी के भीतर काम करें और सामान्य बाहरी जांच संस्थाओं से अधिक व्यापक पहुंच पाएं।
Anthropic खुद कहता है कि यह मॉडल अभी नया है और कुछ परिचालन विवरण अभी तैयार हो रहे हैं।
प्रयोगशाला के भीतर जांच क्यों महत्वपूर्ण है?
मॉडलों की बाहरी जांच AI सुरक्षा की बहस का मुख्य हिस्सा बन गई है।
समस्या यह है कि बाहरी जांचकर्ताओं के पास AI प्रयोगशाला की पूरी जानकारी, टूल और आंतरिक संस्करणों की पहुंच हमेशा नहीं होती।
अपेक्षाकृत स्वतंत्र जांचकर्ताओं का प्रयोगशाला परिवेश के भीतर काम करना अधिक गहरी जांच संभव कर सकता है।
दूसरी ओर, जब जांचकर्ता उसी कंपनी के निकट काम करता है जिसके उत्पाद जांचता है, तो उसकी स्वतंत्रता अधिक महत्वपूर्ण सवाल बन जाती है।
मॉडल चुनने वाले संगठनों के लिए क्या मायने हैं?
सामान्य उपयोगकर्ताओं को अभी कोई कदम उठाने की जरूरत नहीं है।
AI मॉडल चुनने वाले संगठनों के लिए यह कदम दिखाता है कि "सुरक्षा जांच" कोई एक चीज नहीं है।
जांचें कि मूल्यांकन किसने किया, किन प्रणालियों की पहुंच थी और क्या सार्वजनिक किया गया।
कंपनियों ने अभी क्या प्रकाशित नहीं किया?
कंपनियों ने काम की व्यावहारिक संरचना, टीमों की स्वतंत्रता के स्तर या जांच परिणामों का कितना हिस्सा सार्वजनिक होगा, इसके सभी विवरण अभी प्रकाशित नहीं किए।