Anthropic y Accenture han anunciado una nueva colaboración para probar y evaluar modelos de IA desde el propio entorno de desarrollo de Anthropic.
Según Anthropic, ambas empresas prevén invertir al menos mil millones de dólares cada una en desarrollar esta capacidad durante los próximos cinco años.
Cómo debería funcionar el acuerdo
La actividad estará dirigida por Faculty, la unidad especializada en IA de Accenture.
Los equipos deberían ocuparse, entre otras tareas, de pruebas adversariales, pruebas de alineación y evaluación de los mecanismos de protección de modelos avanzados.
La idea central es la «evaluación integrada»: evaluadores externos que trabajan dentro de la empresa y reciben un acceso más amplio del que suelen tener las entidades de evaluación externas.
La propia Anthropic señala que este modelo aún es nuevo y que parte de los detalles operativos sigue definiéndose.
Por qué importa evaluar desde dentro del laboratorio
Las evaluaciones externas de modelos se han convertido en una parte central del debate sobre seguridad de la IA.
El problema es que los evaluadores externos no siempre tienen acceso a toda la información, las herramientas y las versiones internas de un laboratorio de IA.
Un modelo en el que evaluadores relativamente independientes trabajan dentro del entorno del laboratorio puede permitir pruebas más profundas.
Por otra parte, la independencia del evaluador se vuelve una cuestión más importante cuando trabaja junto a la empresa cuyos productos está evaluando.
Qué significa para las organizaciones que eligen un modelo
Los usuarios habituales no tienen que hacer nada por ahora.
Para las organizaciones que eligen modelos de IA, el movimiento subraya que las «pruebas de seguridad» no son un concepto único.
Conviene comprobar quién realizó la evaluación, a qué sistemas tuvo acceso y qué se publicó para el público.
Qué no han publicado aún las empresas
Las empresas todavía no han publicado todos los detalles sobre la estructura práctica del trabajo, el grado de independencia de los equipos o qué parte de los resultados de las pruebas se hará pública.