Anthropic le abrió la cocina a un grupo de auditores externos: qué buscan y por qué importa

Pongámonos en una imagen de todos los días: uno puede probar la comida de un restaurante y opinar si le gustó o no, pero nadie le muestra la cocina. En el mundo de la inteligencia artificial, esa cocina son los modelos con los que se entrenan los sistemas y los mecanismos con los que se les pone límites. Y ahora, por primera vez, un grupo de auditores externos recibió la llave de esa cocina. Te cuento qué están haciendo.

Seis investigadores de METR, una organización sin fines de lucro que se especializa en evaluar sistemas de inteligencia artificial, trabajan desde adentro de Anthropic con el mismo nivel de acceso que un empleado del área de evaluación de riesgos. Eso significa computadoras propias de la empresa, espacio físico en sus oficinas y el uso de las herramientas internas. Pueden conversar con el personal como si fueran un colega más, salvo en tres áreas reservadas: datos de clientes, información protegida por el secreto entre abogado y cliente y detalles puntuales sobre la arquitectura de los modelos.

Tres niveles, un solo elegido

• Nivel bajo: organizaciones como SecureBio hacen revisiones acotadas y necesitan pedir autorización antes de publicar.
• Nivel intermedio: reciben más información y pueden publicar sin pedir permiso, aunque sin acceso equivalente al de un empleado.
• Nivel alto: hoy lo ocupa únicamente METR. Suma acceso pleno a las herramientas internas y la facultad de publicar evaluaciones, reportes de incidentes y análisis de prácticas sin que Anthropic pueda bloquearlo.

Acá viene un detalle clave: la empresa sí puede pedir que se redacten datos que encajen en categorías estrechas y predefinidas, como información comercial sensible. Pero METR queda libre de señalar públicamente si considera que esa redacción estaba justificada o no. Es, en la práctica, la posibilidad de discutir al patrón sin que te pueda tapar la boca.

Las cuatro condiciones que la propia Anthropic puso sobre la mesa

Para justificar por qué un auditor externo necesita tanto acceso, la compañía enumeró cuatro requisitos que, según su propio planteo, tienen que cumplirse al mismo tiempo. El primero es la experiencia técnica suficiente para detectar cuándo un modelo simula estar alineado en lugar de estarlo de verdad; algo así como un sommelier capaz de distinguir un vino genuino de uno apañado, y no solo un consumidor que dice si le gusta. El segundo es la independencia económica y operativa respecto de la empresa auditada. El tercero, que el acceso vaya más allá de probar los modelos e incluya información sobre cómo se entrenaron y cómo funcionan sus mecanismos de seguridad. Y el cuarto, la libertad para publicar sin restricciones previas.

Conversé informalmente con Lucas, un becario del área de comunicación de un laboratorio local, y me resumió la movida con una frase que me pareció muy clara: “Si la auditoría la paga el mismo que desarrolla el modelo, no sirve”. La independencia no es un detalle: es el punto.

La compañía reconoció que no puede hacer pública toda su información de seguridad. Parte de esos datos podría ser útil para actores maliciosos y otra parte es sensible desde lo comercial. Por eso optó por un modelo de acceso profundo pero acotado, con un grupo chico que opera bajo acuerdos exigibles y con el resto del personal de METR aislado de ese trabajo. El equipo ya venía revisando varios informes de riesgo durante el año anterior a recibir este nivel ampliado, lo que ubica el paso como una escalada sostenida y no como un experimento aislado.

¿Y eso para qué sirve? Para que un lector de a pie no tenga que confiar en la palabra de la empresa cuando dice que su sistema es seguro. Con auditores externos que entran, que revisan y que pueden hablar sin pedir permiso, la promesa de seguridad deja de ser un cartel publicitario y se convierte en algo que se puede chequear, discutir y, si hace falta, desmentir.