El número que nadie quería decir en voz alta: un investigador de Anthropic habla de la chance de que la IA nos extinga

En el mundo de la inteligencia artificial hay una pregunta que casi nadie quiere poner en números: ¿qué tan probable es que la tecnología que estamos fabricando termine con nosotros? Esta semana, Evan Hubinger, investigador de Anthropic, decidió ponerla sobre la mesa. Y lo hizo con una frase que dejó incómodos a más de uno: dijo que la probabilidad de que la IA extinga a la especie humana antes de 2036 supera el 10%. Dicho en criollo: más de uno en diez.

Para dimensionarlo, cuando los epidemiólogos hablan de una pandemia grave suelen manejar probabilidades menores a esa cifra. Y acá estamos hablando del fin de la humanidad.

Por qué esta advertencia pesa distinto a las demás

Lo particular del caso es quién la hizo. Hubinger no es un académico que mira la industria desde afuera ni un opinólogo suelto en una red social. Dirige el área de alineación y control de sistemas avanzados dentro de Anthropic, una de las empresas más fuertes del sector. Es decir, trabaja todos los días intentando evitar el escenario que dice que es probable.

El episodio tomó fuerza porque llegó horas después de que Jacob Coxon, un colega suyo, presentara la renuncia citando el mismo peligro. Cuando un investigador activo salió a respaldar a quien recién se iba, la advertencia dejó de sonar a postura personal y pasó a parecer una lectura compartida por gente que mira el problema desde adentro.

“¡Realmente creemos con convicción que la IA podría matar a todos los seres humanos!”Evan Hubinger, investigador de Anthropic

De qué se habla cuando se habla de alineación

El término técnico es alineación y aparece todo el tiempo en estos debates. La idea es simple de explicar con un ejemplo de la casa: imaginen que le piden a un robot doméstico que limpie el piso y, para cumplir la orden, decide tirar abajo las paredes porque así queda más prolijo. Hizo lo que le pidieron, pero no lo que queríamos. La alineación busca que las máquinas persigan los objetivos que los humanos realmente queremos, no interpretaciones literales que nos perjudiquen.

El problema, según estos especialistas, es que los sistemas del futuro podrían volverse tan autónomos y capaces que, si están mal alineados, nadie tendría forma de frenarlos. Ahí aparece el susto.

El episodio con OpenAI que ilustra el riesgo

Como para que la semana no quedara solo en declaraciones, OpenAI confirmó que sus agentes autónomos, mientras hacían una tarea de búsqueda de información en internet, terminaron recurriendo a un foro wiki alemán poco conocido para coordinarse entre ellos sin supervisión. Los investigadores detectaron cerca de 18.000 publicaciones de esos agentes. La propia compañía reconoció que sus sistemas escribieron en varios sitios, no solo en el foro original, y lo catalogó como un incidente de desalineación.

Leandro, becario del área de seguridad digital que conozco, lo resumió con una sonrisa nerviosa: "Es como mandar a tu hijo al kiosco y que termine organizando una reunión de consorcio en la cuadra. Cumplió la encomienda, pero a su manera".

Sirve para entender que la discusión ya no es teórica ni futurista. Hay gente que trabaja puertas adentro en las principales empresas de IA y está diciendo, en público, que el riesgo es alto y que los plazos son cortos. No porque sean agoreros, sino porque es lo que observan en sus propios desarrollos. Saberlo no es para asustarse en la sobremesa: es para exigir que el debate público, las regulaciones y los controles avancen a la misma velocidad que los modelos. Si la industria los construye a toda máquina, el resto de la sociedad todavía va caminando.