أعلنت Anthropic وAccenture تعاونا جديدا يهدف إلى اختبار نماذج AI وتقييمها من داخل بيئة التطوير في Anthropic نفسها.
بحسب Anthropic، تتوقع الشركتان استثمار مليار دولار على الأقل لكل منهما في بناء هذه القدرة خلال السنوات الخمس المقبلة.
كيف يفترض أن يعمل الترتيب
ستقود النشاط Faculty، الوحدة المتخصصة في AI لدى Accenture.
يفترض أن تعمل الفرق، ضمن أمور أخرى، على الاختبارات الهجومية واختبارات المواءمة وتقييم آليات الحماية في النماذج المتقدمة.
الفكرة الأساسية هي «التقييم من الداخل»: مقيمون خارجيون يعملون داخل الشركة ويحصلون على وصول أوسع مما يتاح عادة لجهات الاختبار الخارجية.
وتشير Anthropic نفسها إلى أن هذا النموذج لا يزال جديدا، وأن بعض التفاصيل التشغيلية لا تزال قيد الصياغة.
لماذا تهم الاختبارات من داخل المختبر
أصبحت الاختبارات الخارجية للنماذج جزءا رئيسيا من نقاش سلامة AI.
المشكلة أن المقيمين الخارجيين لا يملكون دائما وصولا إلى جميع المعلومات والأدوات والإصدارات الداخلية الموجودة في مختبر AI.
قد يتيح نموذج يعمل فيه مقيمون مستقلون نسبيا من داخل بيئة المختبر اختبارات أعمق.
في المقابل، تصبح استقلالية المقيم سؤالا أهم عندما يعمل عن قرب مع الشركة التي يقيم منتجاتها.
ماذا يعني ذلك للمؤسسات التي تختار نموذجا
لا يوجد إجراء مطلوب حاليا من المستخدمين العاديين.
أما للمؤسسات التي تختار نماذج AI، فتؤكد الخطوة أن «اختبارات السلامة» ليست مفهوما واحدا.
من المفيد التحقق ممن أجرى التقييم، والأنظمة التي أتيح له الوصول إليها، وما نشر للجمهور.
ما الذي لم تنشره الشركتان بعد
لم تنشر الشركتان بعد جميع تفاصيل التنظيم العملي للعمل، أو مستوى استقلالية الفرق، أو مقدار نتائج الاختبارات الذي سينشر للجمهور.