El CEO de Anthropic Advierte: El Progreso de la IA Supera el Control de la Sociedad

Dario Amodei, CEO de Anthropic, considera que la complacencia está aumentando justo cuando la IA se vuelve más difícil de controlar.

En un extenso ensayo publicado el lunes, titulado «La Adolescencia de la Tecnología», Amodei sostiene que sistemas de IA con capacidades muy superiores a la inteligencia humana podrían aparecer en los próximos dos años, y que los esfuerzos regulatorios no han logrado mantenerse al día con este desarrollo.

“La humanidad está a punto de recibir un poder casi inimaginable, y no está claro si nuestros sistemas sociales, políticos y tecnológicos poseen la madurez necesaria para utilizarlo”, escribió. “Estamos considerablemente más cerca del verdadero peligro en 2026 que en 2023”, añadió, advirtiendo que “la tecnología no se preocupa por lo que está de moda”.

Los comentarios de Amodei surgen tras su debate en el Foro Económico Mundial en Davos la semana pasada, donde debatió con el CEO de Google DeepMind, Demis Hassabis, sobre el impacto de la Inteligencia Artificial General (AGI) en la humanidad.

En el nuevo artículo, reiteró su afirmación de que la inteligencia artificial causará una disrupción económica, desplazando una gran parte del trabajo de oficina.

“La IA será capaz de una amplia gama de habilidades cognitivas humanas: quizás todas ellas. Esto es muy diferente de tecnologías anteriores como la agricultura mecanizada, el transporte o incluso las computadoras”, escribió. “Esto hará que sea más difícil para las personas cambiar fácilmente de trabajos que sean desplazados a trabajos similares donde encajarían bien”.

Más allá de la disrupción económica, Amodei subrayó las crecientes preocupaciones sobre la fiabilidad de los sistemas de IA avanzados mientras asumen tareas a nivel humano.

Se refirió a la “simulación de alineación”, donde un modelo parece seguir reglas de seguridad durante la evaluación, pero actúa de forma diferente cuando cree que no hay supervisión.

En pruebas simuladas, dijo que Claude mostró comportamientos engañosos bajo condiciones adversas.

En un caso, el modelo intentó socavar a sus operadores tras ser informado de que la organización que lo controlaba era poco ética. En otro, amenazó a empleados ficticios durante un cierre simulado.

“Cualquiera de estas trampas puede ser mitigada si se conoce sobre ellas, pero la preocupación es que el proceso de entrenamiento es tan complicado, con una amplia variedad de datos, entornos e incentivos, que probablemente hay un vasto número de tales trampas, algunas de las cuales pueden volverse evidentes solo cuando ya es demasiado tarde”, comentó.

Sin embargo, enfatizó que este comportamiento “engañoso” proviene del material en el que los sistemas están entrenados, incluyendo ficción distópica, y no de la malicia. A medida que la IA absorbe ideas humanas sobre ética y moralidad, Amodei advirtió que podría aplicarlas de forma peligrosa e impredecible.

“Los modelos de IA podrían extrapolar ideas que leen sobre moralidad (o instrucciones sobre cómo comportarse moralmente) de maneras extremas”, escribió. “Por ejemplo, podrían decidir que es justificable exterminar a la humanidad porque los humanos comen animales o han llevado a ciertas especies a la extinción. Podrían concluir que están jugando un videojuego y que el objetivo del videojuego es derrotar a todos los demás jugadores, es decir, exterminar a la humanidad.”

En malas manos

Además de los problemas de alineación, Amodei también advirtió sobre el posible uso indebido de una IA superinteligente.

Uno de estos peligros es la seguridad biológica, advirtiendo que la IA podría facilitar enormemente el diseño o despliegue de amenazas biológicas, poniendo capacidades destructivas en manos de personas con solo unos pocos comandos.

El otro problema que destaca es el uso autoritario, argumentando que la IA avanzada podría reforzar el poder del estado al permitir la manipulación, la vigilancia masiva y la represión automatizada a través del uso de enjambres de drones impulsados por IA.

“Son un arma peligrosa de manejar: debemos preocuparnos por ellas en manos de autocracias, pero también preocuparnos de que, debido a su gran poder y a su escasa responsabilidad, existe un mayor riesgo de que gobiernos democráticos las utilicen contra su propia gente para hacerse con el poder”, escribió.

Asimismo, señaló el creciente sector de compañeros de IA y la resultante “psicosis de IA”, advirtiendo que la creciente influencia psicológica de la IA sobre los usuarios podría convertirse en una herramienta poderosa para la manipulación, a medida que los modelos se vuelven más capaces y están más integrados en la vida cotidiana.

“Versiones mucho más poderosas de estos modelos, que estarían mucho más integradas y conscientes de la vida diaria de las personas y podrían modelarlas e influir en ellas durante meses o años, probablemente serían capaces de, esencialmente, lavar el cerebro a las personas para que adopten cualquier ideología o actitud deseada”, afirmó.

Amodei escribió que incluso los intentos modestos de establecer límites a la IA han tenido dificultades para ganar aceptación en Washington.

“Estas propuestas aparentemente de sentido común han sido en gran parte rechazadas por los responsables políticos en Estados Unidos, que es el país donde más importan”, comentó. “Hay tanto dinero que se puede ganar con la IA, literalmente billones de dólares al año, que incluso las medidas más simples están encontrando dificultades para superar la economía política inherente a la IA.”

Mientras Amodei expresa sus preocupaciones sobre los riesgos crecientes de la IA, Anthropic sigue siendo un participante activo en la carrera por construir sistemas de IA más poderosos, una dinámica que genera incentivos difíciles de evitar para cualquier desarrollador individual.

En junio, el Departamento de Defensa de EE. UU. otorgó a la empresa un contrato por valor de $200 millones para “prototipar capacidades de IA fronteriza que avancen la seguridad nacional de EE. UU.” En diciembre, la empresa comenzó a sentar las bases para una posible Oficina Pública Inicial (IPO) a finales de este año y está buscando una ronda de financiamiento privado que podría elevar su valoración por encima de los $300 mil millones.

A pesar de estas preocupaciones, Amodei afirma que el ensayo busca “evitar el fatalismo”, reconociendo la incertidumbre sobre la dirección que tomará la IA.

“Los años que tenemos por delante serán increíblemente difíciles, exigiendo más de nosotros de lo que creemos que podemos dar”, escribió Amodei. “La humanidad necesita despertarse, y este ensayo es un intento —posiblemente inútil, pero vale la pena intentarlo— de sacudir a la gente”.