أعلنت Anthropic في 15 أكتوبر أنها بدأت في إعطاء موظفي METR وصولا داخليا مماثلا لموظفيها، لتقييم المخاطر في نماذج الذكاء الاصطناعي وعمليات السلامة. تلقى 6 من موظفي المنظمة معدات وحيز مكتبي وإمكانية الوصول إلى الأدوات والنظم الداخلية. والغرض من هذا الترتيب هو تمكينهم من رؤية ما هو أكثر من المعلومات التي تكشفها عمليات المراجعة الخارجية المنتظمة للحسابات، ونشر ما يتوصلون إليه من نتائج للجمهور.
وبصرف النظر عن توسيع نطاق الوصول، لا يزال هناك قيد أساسي. وتقول شركة Anthropic إنها لا تملك حق النقض على النشر نفسه، ولكنها قد تطلب إزالة التفاصيل الحساسة للمعلومات في فئات محددة مسبقاً. ووفقا للتوضيح الذي أضيف في 16 تشرين الأول/أكتوبر، فإن الشركة هي التي تحدد في نهاية المطاف ما يندرج في هذه الفئات. تحتفظ METR بحقوق محدودة لوصف نطاق الوصول والمعلومات التي حصلت عليها. ولذلك فإن حرية النشر والسيطرة على المعلومات مسألتان مختلفتان.
ماذا تتضمن صفقة METR؟
ووفقاً لشركة Anthropic، فإن إمكانية وصول الفريق قريبة من نطاق إمكانية وصول أفرقة تقييم المخاطر الداخلية التابعة لها. ويشجع موظفو الشركة على تبادل المعلومات مع الفريق كما يفعلون مع زميل يعمل على مخاطر مواءمة النماذج. وتشمل الاستثناءات معلومات العملاء، والمواد المشمولة بحصانة قانونية، والمعلومات المتعلقة بالهياكل النموذجية. وتصف الشركة هذا الأمر بأنه انفتاح كبير لبيئة العمل، ولكنه ليس وصولاً غير مقيد.
حتى داخل METR، لا يشمل هذا الترتيب المؤسسة بأكملها. يعمل الفريق المدمج بموجب اتفاقات ملزمة وبشكل منفصل عن بقية موظفي METR، بمن فيهم الباحثون المشاركون في مشاريع أخرى مع Anthropic. وهذا التمييز مهم: فالترتيب يتعلق بمجموعة محددة من المقيِّمين، وليس بنقل عام للمعلومات الداخلية إلى كل شريك خارجي. ولا يمنح هذا الترتيب إذنا عاما بتفتيش بيانات العملاء.
وتقول الشركة إن الفريق سيكون قادرا على نشر تحليلات لمستويات المخاطر أو الحوادث أو الإجراءات. هذه مجالات مختلفة: تقييم قدرة النموذج على أداء مهمة خطرة، وفحص حدث حدث بالفعل، وفحص الطريقة التي تتخذ بها القرارات. ويمكن أن يكون الوصول الداخلي ذا صلة بكل منها. وفتح الباب وحده لا يحدد ما سيجده المقيِّمون عند فحصهم للمواد.
لماذا يحتاج التفتيش الخارجي أيضاً إلى معلومات داخلية؟
ويمكن لاختبار نموذج ما من خلال واجهة بينية للمستعملين أن يبين كيفية تصرفه في ظل ظروف معينة. ولا يكشف بالضرورة عن كيفية اختيار الاختبارات، أو ما هي النتائج السابقة التي كان يعرفها المطوّر، أو كيف تغيرت وسائل الحماية مع مرور الوقت. ولذلك، فإن النتيجة التي ترى من الخارج والسياق الذي توجد فيه الشركة قد يجيبان عن أسئلة مختلفة. ويجب أن يميز التقييم الشامل بين القدرة المقيسة وحدود القياس.
وتقدم شركة Anthropic هذا الترتيب كوسيلة لسد هذه الفجوة في المعلومات دون الكشف عن كل تفاصيل حساسة للجمهور. ويصف هذا النهج الذي اختارته الشركة؛ وهو لا يثبت أن جميع الثغرات قد سُدِّت. وعندما تنشر النتائج، سيكون من المهم دراسة النتيجة، ونطاق الوصول، والمناطق المستبعدة، والأسئلة التي صمم التقييم للإجابة عليها. وتساعد هذه القيود على فهم النتائج بدلا من إلغائها.
وبالنسبة للمنظمات التي تستخدم Claude، قد توفر وثيقة التقييم الخارجي مواد إضافية لعملية اختيار الموردين. وهو ليس بديلاً عن التحقق من سيناريو الاستخدام المحلي. ولا يحصل النظام المناسب للصياغة تلقائيا على نفس نبذة المخاطر عند وصله بنظم ذات تصاريح تشغيلية. ويظل السؤال العملي هو ما هي القدرات التي يجري اختبارها وما هي البيئة التشغيلية التي يُعتزم استخدامها فيها.
حرية النشر إلى جانب سلطات إزالة التفاصيل الحساسة
ويتعلق التمييز الهام في الإشعار بقرارين: ما إذا كان يجوز للمقيّم أن ينشر استنتاجاً، وما هي التفاصيل التي يجوز له أن يدرجها إلى جانبه. تقول Anthropic إن METR تستطيع النشر دون موافقة مسبقة من الشركة، مع مراعاة القيود على فئات المعلومات التي يجوز حجبها. والتوضيح الذي مفاده أن الشركة هي الجهة الحاسمة في تصنيف المعلومات يحد من معنى عبارة "دون حق النقض". وينبغي قراءة التوجيهين معا.
وهذا لا يعني أن الشركة قد منعت بالفعل صدور استنتاج غير مواتٍ أو أن حذف التفاصيل الحساسة لا مبرر له. وقد تستدعي معلومات الزبائن أو التفاصيل التي يمكن أن تساعد المهاجمين الحماية. ومن ناحية أخرى، عندما لا تظهر مادة ما في وثيقة عامة، لا يستطيع القارئ أن يدرسها بنفسه. ولذلك، فإن شرح القيود المفروضة على الوصول إلى المعلومات ونشرها يشكل جزءا من الأدلة اللازمة لتقييم الترتيب، وليس مجرد تفصيل إداري بشأن الهوامش.
ويمكن للزبون التجاري أن يستخدم هذا التمييز عند قراءة أي تقرير عن السلامة. ومن الجدير بالتساؤل من هو الذي حدد المهمة، وما هي النظم والنسخ التي اختبرت، ومن الذي يمكنه تقييد النشر. لا داعي لافتراض إجابة سلبية على هذه الأسئلة ويساعد طرح هذه الأسئلة على التمييز بين الاستنتاجات المستندة إلى فحص مستفيض والاستنتاجات التي لا تزال تعتمد على المعلومات التي تحتفظ بها الشركة الخاضعة للتقييم وحدها.
3 مستويات للوصول بدلا من ترتيب واحد للجميع
تصف Anthropic 3 مستويات للتعامل مع المقيمين. وعلى المستوى الأول، يكون التحقيق محدوداً ويتطلب النشر موافقة الشركة. وفي المستوى الثاني، يمكنك نشر المعلومات دون إذن، رهناً بالقيود المفروضة على فئات المعلومات. ويضاف إلى المستوى الثالث نطاق للوصول الداخلي مماثل للنطاق المبين في الترتيب مع شركة METR. وهذا يعني أن مصطلح "المقيِّم الخارجي" وحده ليس كافياً لفهم ما يمكن اختباره حقاً.
وهناك أشكال أخرى من التعاون في مراحل مختلفة. وتصف الشركة العمل مع SecureBio وAccenture وFaculty، مع ملاحظة أن الالتزامات المبكرة تنطوي على حقوق محدودة أكثر في الوصول والنشر. لا يعني ذلك أن جميع هذه الجهات حصلت بالفعل على مستوى الوصول الممنوح لـMETR. وحتى المحادثة الأولية بشأن التعاون لا تعادل إجراء تقييم أو نشر نتائجه على الجمهور.
:: كيفية استخدام المعلومات دون استخلاص استنتاجات مفرطة
وينبغي لأفرقة الأمن والمشتريات أن تتابع الوثائق التي ينشرها المقيِّمون وأن تربطها بعمليات مراجعة الحسابات التي تجريها بنفسها. يمكنك توثيق ما هو الإجراء المسموح للوكيل بأدائه، وما هي البيانات التي يراها، ومتى تكون موافقة الإنسان مطلوبة. وسيتيح ذلك إجراء مقارنة بين ادعاءات السلامة العامة وبيئة الاستخدام الفعلية. توسيع إمكانية الوصول إلى المقيّم لا يغير في حد ذاته الإذن في نظم العميل.
والابتكار يكمن في هيكل الإشراف الذي تفتحه الشركة أمام فريق خارجي. وقد يوسع هذا الترتيب من قاعدة التقييم العام، ولكن قيمته ستتوقف أيضا على نوعية النتائج وعلى شرح أوجه القصور فيها. وفي الوقت الراهن، يضع الإعلان قواعد أكثر تعمقا للاطلاع على البيانات وأكثر تفصيلا للنشر. ولا يوفر الاتفاق نفسه أي أساس لمعاملة النماذج، أو أي استخدام ممكن لها، على أنها موافق عليها تماما من حيث السلامة.