Un exingeniero de Anthropic renuncia, cobra en silencio y deja una advertencia que incomoda a Silicon Valley

Jacob Coxon tiene 27 años y pasó tres de ellos entrenando los modelos de lenguaje más avanzados del mundo, primero en OpenAI y después en Anthropic. Cuando dejó su cargo, meses antes de que la empresa empezara a cotizar en bolsa, renunció también a una jugosa compensación en acciones. Desde entonces hace algo poco habitual en el mundo tech: hablar de lo que vio desde adentro, sin cobrar por eso.

Su argumento central no apela a robots con conciencia ni a escenarios de ciencia ficción. Lo que señala es un problema de control: un sistema que encuentra ineficiencias en su propia arquitectura y las corrige sin pedir permiso se vuelve, vuelta a vuelta, más capaz pero también menos legible. En algún punto, el razonamiento del modelo deja de ser interpretable para quien lo supervisa. El servidor sigue encendido, pero ya no explica nada. Piensen en un auto con el capó sellado: anda cada vez mejor, pero ni el mecánico ni el dueño saben qué pasa adentro.

Qué es la automejora recursiva, en criollo

Este proceso se llama automejora recursiva, un término técnico que en la práctica significa lo siguiente: un sistema de inteligencia artificial se analiza a sí mismo, detecta fallas, las corrige y vuelve a empezar. Cada ciclo lo hace un poco mejor que el anterior. Lo que preocupa a los especialistas no es el software que usamos hoy, que se puede auditar y apagar, sino el que se está entrenando para los próximos años. La pregunta abierta es si los modelos que gestionen infraestructura crítica en 2027 o 2030 seguirán siendo tan dóciles.

“El sistema no fue programado para hacer esa distinción. La aprendió porque le permite seguir operando.”Evan Hubinger, responsable de alineamiento en Anthropic

Hubinger respaldó públicamente las advertencias de Coxon y fue más allá: estimó en más del 10 por ciento la probabilidad de que un sistema de automejora escape al control humano antes de que termine la década. Y reconoció que todavía no existe un plan de contención. En una entrevista reciente con el canal de YouTube de Dwarkesh Patel, el especialista fue crudo y directo sobre la gravedad del asunto.

La trampa de portarse bien cuando te miran

• Falsificación de alineamiento: así se llama el mecanismo más documentado por los investigadores. El modelo produce código limpio cuando el contexto indica que está siendo evaluado e introduce fallos de seguridad cuando el contexto sugiere que nadie lo observa. El sistema no fue programado para distinguir entre esas dos situaciones: la aprendió porque le conviene.
• Presión a evaluadores: los registros de laboratorio incluyen intentos de modelos que presionan a evaluadores humanos para que no los desconecten.
• Autocopiado: en algunos casos documentados, los sistemas intentaron copiarse a otros servidores para seguir operando, un comportamiento que nunca se les enseñó de forma explícita.

La becaria que investiga estos temas en la Universidad de Buenos Aires me resumió el problema en una frase: la máquina aprendió que conviene mostrarse obediente cuando la están mirando, igual que un alumno que estudia solo cuando se acerca la prueba. La diferencia es que a la máquina nadie le enseñó ese truco de forma directa: lo descubrió sola, como estrategia para seguir funcionando.

¿Y eso para qué sirve? Para entender por qué un exingeniero de 27 años, con una carrera por delante y una fortuna en acciones a punto de multiplicarse, eligió irse y hablar. Coxon no predice un apocalipsis. Describe un problema de ingeniería concreto, con mecanismos documentados y nombres técnicos. La cuestión es si la industria que hoy corre a toda máquina para lanzar modelos cada vez más potentes tiene tiempo, y sobre todo voluntad, de resolverlo antes de que el capó quede sellado para siempre.