Anthropic anunció el 15 de octubre que comenzó a dar al personal de METR acceso interno similar al de los empleados, para la evaluación de riesgos en sus modelos de IA y procesos de seguridad. 6 empleados de la organización recibieron equipo, espacio de oficina y acceso a herramientas y sistemas internos. El acuerdo tiene por objeto permitirles ver más allá de la información expuesta por las auditorías externas regulares, y publicar sus conclusiones al público.
Aparte de la ampliación del acceso, sigue habiendo una limitación esencial. Anthropic afirma que no puede vetar la publicación en sí, pero puede exigir que se oculte información de categorías definidas de antemano. Según la aclaración agregada el 16 de octubre, es la compañía la que determina en última instancia lo que se incluye en estas categorías. METR conserva derechos limitados para describir el alcance del acceso y la información que recibió. Por lo tanto, la libertad de publicar y el control de la información son cuestiones diferentes.
¿Qué incluye el acuerdo de METR?
Según Anthropic, el acceso del equipo es cercano en alcance al de sus equipos internos de evaluación de riesgos. Se anima a los empleados de la compañía a compartir información con el equipo como lo harían con un colega que trabaja en riesgos de alineación de modelos. Las excepciones incluyen información del cliente, material legalmente privilegiado e información sobre arquitecturas de modelos. La compañía describe esto como una apertura significativa del entorno de trabajo, pero no un acceso sin restricciones.
Incluso dentro de METR el arreglo no se aplica a toda la organización. El equipo combinado opera bajo acuerdos vinculantes y por separado de otros miembros del personal de METR, incluidos los investigadores involucrados en otros proyectos con Anthropic. Esta distinción es importante: el acuerdo se refiere a un grupo definido de evaluadores, más que a una transferencia general de información interna a cada socio externo. El acuerdo no otorga permiso público para inspeccionar los datos de los clientes.
La compañía dice que el equipo podrá publicar análisis de niveles de riesgo, incidentes o procedimientos. Estos son campos diferentes: evaluar la capacidad de un modelo para realizar una tarea peligrosa, examinar un evento que ya ha ocurrido y examinar la forma en que se toman las decisiones. El acceso interno puede ser relevante para cada uno de ellos. La apertura de la puerta por sí sola no establece lo que los evaluadores encontrarán cuando examinen el material.
¿Por qué una inspección externa también necesita información interna?
La prueba de un modelo a través de una interfaz de usuario puede mostrar cómo se comporta bajo ciertas condiciones. No revela necesariamente cómo se seleccionaron las pruebas, qué hallazgos previos eran conocidos por el desarrollador, o cómo las protecciones cambiaron con el tiempo. Por lo tanto, el resultado visto desde el exterior y el contexto que tiene la empresa pueden responder a preguntas diferentes. Una evaluación exhaustiva debe distinguir entre la capacidad medida y los límites de la medición.
Anthropic presenta el acuerdo como una forma de cerrar esta brecha de información sin exponer todos los detalles sensibles al público. Esto describe el enfoque que la compañía ha elegido; no establece que todas las brechas se hayan cerrado. Cuando se publiquen los resultados, será importante examinar el resultado, el alcance del acceso, las áreas excluidas y las preguntas que la evaluación fue diseñada para responder. Tales limitaciones ayudan a entender los hallazgos en lugar de anularlos.
Para una organización que utiliza Claude, un documento de evaluación externa puede proporcionar material adicional para el proceso de selección de proveedores. No es un sustituto para comprobar el escenario de uso local. Un sistema adecuado para redactar no recibe automáticamente el mismo perfil de riesgo cuando se conecta a sistemas con permisos operativos. La cuestión práctica sigue siendo qué capacidades se prueban y en qué entorno operativo se pretenden utilizar.
Libertad para publicar y facultades para ocultar información
La importante distinción en el aviso se refiere a dos decisiones: si el evaluador puede publicar una conclusión, y qué detalles puede incluir junto a ella. Anthropic dice que METR puede publicar sin la aprobación previa de la compañía, sujeto a restricciones sobre las categorías de información que pueden ser retenidas. La aclaración de que la empresa es decisiva en la clasificación de la información limita el significado de la frase "sin veto". Las dos instrucciones deben leerse juntas.
Esto no significa que la empresa ya haya bloqueado un hallazgo desfavorable o que la eliminación de datos sensibles no esté justificada. La información del cliente o los detalles que podrían ayudar a los atacantes pueden justificar la protección. Por otro lado, cuando el material no aparece en un documento público, el lector no puede examinarlo por sí mismo. Por lo tanto, una explicación de las restricciones de acceso y publicación es parte de las pruebas necesarias para evaluar el acuerdo, no solo un detalle administrativo en los márgenes.
Un cliente empresarial puede utilizar esta distinción al leer cualquier informe de seguridad. Vale la pena preguntar quién definió la tarea, qué sistemas y versiones se probaron y quién puede restringir la publicación. No hay necesidad de asumir una respuesta negativa a estas preguntas. Hacer estas preguntas ayuda a distinguir las conclusiones basadas en un examen exhaustivo de las que todavía dependen de la información que posee únicamente la empresa que se evalúa.
3 niveles de acceso, en lugar de un arreglo para todos
Anthropic describe 3 niveles de compromiso con los evaluadores. En el primer nivel, la investigación es limitada y la publicación requiere la aprobación de la empresa. En el segundo nivel, puede publicar sin permiso, sujeto a restricciones sobre las categorías de información. El tercer nivel añade un alcance de acceso interno similar al descrito en el acuerdo con METR. Esto significa que el término "evaluador externo" por sí solo no es suficiente para entender lo que realmente se puede probar.
Otras colaboraciones se encuentran en diferentes etapas. La compañía describe el trabajo con SecureBio, Accenture y Faculty, al tiempo que señala que los primeros compromisos implican derechos de acceso y publicación más limitados. No se debe inferir que el acceso de METR ya se ha concedido a todos estos organismos. Ni siquiera una conversación inicial sobre cooperación equivale a realizar una evaluación o publicar sus conclusiones al público.
Cómo usar la información sin sacar conclusiones excesivas
Los equipos de seguridad y adquisiciones deben hacer un seguimiento de los documentos que publican los evaluadores y vincularlos con las auditorías que ellos mismos realizan. Puede documentar qué acciones puede realizar el agente, qué datos ve y cuándo se requiere la aprobación humana. Esto permitirá la comparación entre las declaraciones generales de seguridad y el entorno de uso real. La ampliación del acceso del evaluador no cambia los permisos en los sistemas de un cliente.
La innovación está en la estructura de supervisión que la empresa abre a un equipo externo. El acuerdo puede ampliar la base para la evaluación pública, pero su valor también dependerá de la calidad de los resultados y de la explicación de sus limitaciones. Por ahora, el anuncio establece un acceso más profundo y reglas de publicación más detalladas. El acuerdo en sí no proporciona ninguna base para tratar los modelos, o cualquier posible uso de ellos, como totalmente aprobados para la seguridad.