Investigadores Alertan: ‘Enjambres’ de IA Pueden Agudizar la Desinformación en Línea

La era de las botnets fácilmente identificables está por llegar a su fin, según un nuevo informe publicado en Science el jueves. En este estudio, los investigadores advirtieron que las campañas de desinformación están evolucionando hacia enjambres de IA autónomos que pueden imitar el comportamiento humano, adaptarse en tiempo real y requieren poca supervisión humana, lo que complica los esfuerzos para detectarlos y detenerlos.

El documento, elaborado por un consorcio de investigadores de instituciones como Oxford, Cambridge, UC Berkeley, NYU y el Instituto Max Planck, describe un entorno digital en el que la manipulación se vuelve más difícil de identificar. En lugar de breves estallidos asociados a elecciones o política, estas campañas de IA pueden mantener un relato durante períodos más largos.

“En manos de un gobierno, tales herramientas podrían suprimir el disenso o amplificar a los incumbentes”, escribieron los investigadores. “Por lo tanto, el despliegue de IA defensiva solo puede considerarse si está gobernado por marcos estrictos, transparentes y democráticamente responsables.”

Un enjambre se define como un grupo de agentes de IA que trabajan juntos para resolver problemas o alcanzar objetivos de manera más eficiente que un solo sistema. Los investigadores indicaron que los enjambres de IA aprovechan las debilidades existentes en las plataformas de redes sociales, donde los usuarios a menudo están aislados de puntos de vista opuestos.

“Se ha demostrado que las noticias falsas se propagan más rápido y más ampliamente que las noticias verdaderas, profundizando realidades fragmentadas y erosionando las bases fácticas compartidas”, afirmaron. “Evidencias recientes relacionan la curación optimizada para el compromiso con la polarización, donde los algoritmos de las plataformas amplifican contenido divisivo incluso a expensas de la satisfacción de los usuarios, degradando aún más la esfera pública.”

Este cambio ya es visible en las principales plataformas, según Sean Ren, profesor de informática en la Universidad del Sur de California y CEO de Sahara AI, quien afirmó que las cuentas impulsadas por IA son cada vez más difíciles de distinguir de los usuarios normales.

“Creo que un KYC más estricto, o validación de identidad de cuentas, ayudaría mucho aquí”, dijo Ren a Decrypt. “Si es más difícil crear nuevas cuentas y más fácil monitorear a los spammers, se vuelve mucho más complicado para los agentes usar grandes cantidades de cuentas para manipulaciones coordinadas.”

Las campañas de influencia anteriores dependían en gran medida de la escala más que de la sutileza, con miles de cuentas publicando mensajes idénticos simultáneamente, lo que facilitaba la detección. En contraste, el estudio indica que los enjambres de IA exhiben “una autonomía, coordinación y escala sin precedentes.”

Ren afirmó que la moderación de contenido por sí sola probablemente no detendría estos sistemas. El problema, según él, radica en cómo las plataformas gestionan la identidad a gran escala. Cheques de identidad más rigurosos y límites en la creación de cuentas podrían facilitar la detección de comportamientos coordinados, incluso cuando las publicaciones individuales parezcan humanas.

“Si el agente solo puede usar un pequeño número de cuentas para publicar contenido, entonces es mucho más fácil detectar un uso sospechoso y bans esas cuentas”, afirmó.

No hay una solución sencilla

Los investigadores concluyeron que no existe una solución única para el problema, y consideran que opciones como la mejora en la detección de coordinaciones estadísticamente anómalas y una mayor transparencia en torno a la actividad automatizada son necesarias, pero advierten que las medidas técnicas por sí solas probablemente no serán suficientes.

Según Ren, los incentivos financieros también siguen siendo un motor persistente de ataques de manipulación coordinada, incluso cuando las plataformas introducen nuevas salvaguardias técnicas.

“Estos enjambres de agentes suelen estar controlados por equipos o empresas que reciben incentivos monetarios de partes externas o compañías para realizar la manipulación coordinada”, comentó. “Las plataformas deberían aplicar mecanismos más estrictos de KYC y detección de spam para identificar y filtrar cuentas manipuladas por agentes.”