Nightshade es una nueva herramienta que está siendo utilizada por los artistas para evitar que su trabajo sea utilizado sin permiso.
Todo esto se debe a la mejora de la IA generativa para crear imágenes visuales, siendo más accesible al público en general.
Pero el problema más grave es que la IA generativa de imágenes basa sus modelos en bibliotecas masivas de arte existente.
El truco consiste en utilizar «ataques de envenenamiento de datos» específicos y optimizados que corrompen los datos necesarios para entrenar los modelos de IA cuando se alimentan en un generador de imágenes.
«Envenenar ha sido un vector de ataque conocido en modelos de aprendizaje automático durante años», dijo el profesor Ben Zhao.
«Como los modelos generativos de IA son tan grandes, Nightshade los envenena de una forma que nadie podría haber previsto».
El combate al robo de propiedad intelectual y deepfakes de IA se ha vuelto crucial desde que los modelos de IA generativos se hicieron populares.
En julio, un equipo de investigadores del MIT sugirió inyectar pequeños fragmentos de código que causarían que la imagen se distorsione, volviéndola inutilizable.
La IA generativa se refiere a los modelos de IA que utilizan indicaciones para generar textos, imágenes, música o videos. Google, Amazon, Microsoft y Meta han invertido fuertemente en llevar herramientas de IA generativa a los consumidores.
Como explicó Zhao, Nightshade soluciona el problema de los grandes conjuntos de datos de un modelo de IA al apuntar a la indicación, por ejemplo, las solicitudes de crear una imagen de un dragón, perro o caballo.
«Atacar todo el modelo no tiene sentido», dijo Zhao. «Lo que se quiere atacar son las indicaciones individuales, debilitando el modelo y deshabilitándolo para generar arte».
La forma en que Nightshade engaña a la IA
El equipo del estudio aclaró que, para lograr el resultado previsto, el texto y la imagen contenidos en los datos manchados tienen que crearse para que parezcan naturales y engañen tanto a los detectores de alineación automatizados como a los inspectores humanos, con el fin de evitar ser descubiertos.
Aunque el conjunto de datos venenoso de Nightshade es solo una prueba de concepto, Zhao dijo que la manera más fácil de engañar a un modelo de IA como Stable Diffusion para que piense que un gato es un perro es simplemente etiquetar incorrectamente algunas cientos de imágenes de gatos como perros.
Incluso sin ninguna coordinación, los artistas podrían comenzar a implementar estas píldoras venenosas en masa, y podrían causar que el modelo de IA colapse.
«Una vez que suficientes ataques se vuelven activos en el mismo modelo, el modelo se vuelve inútil», dijo Zhao.
«Cuando digo inútil, me refiero a que le das algo como ‘dame una pintura’ y obtienes algo similar a un caleidoscopio de píxeles.
El modelo se vuelve esencialmente algo similar a un generador aleatorio de píxeles».
Zhao dijo que Nightshade no requiere que se tome ninguna medida en contra del generador de imágenes de IA en sí, sino que surte efecto cuando el modelo de IA intenta consumir los datos en los que se ha incluido Nightshade.