Resumen
Se ha propuesto un nuevo «Estándar de Riesgo Agentic» que clasifica los trabajos de inteligencia artificial (IA) en tareas de solo honorarios, protegidas por un fideicomiso, y en tareas relacionadas con la gestión de fondos que requieren aseguramiento.

En simulaciones, se observó que el aseguramiento redujo las pérdidas de los usuarios hasta en un 61%, aunque las primas de cero carga dejaron a los aseguradores en insolvencia.

Las estimaciones precisas de la tasa de fallos siguen siendo el principal desafío, ya que tanto la sobreestimación como la subestimación crean riesgos sistémicos.

A medida que los agentes de IA comienzan a manejar pagos, transacciones financieras y otros procesos, surge una creciente preocupación por los riesgos financieros que recaen sobre la persona detrás del agente cuando estos sistemas fallan. Un consorcio de investigadores sostiene que las técnicas actuales de seguridad en IA no abordan este riesgo, y es necesario considerar nuevas técnicas de estilo asegurador.

En un artículo reciente, investigadores de Microsoft, Google DeepMind, la Universidad de Columbia y las startups Virtuals Protocol y t54.ai propusieron el Estándar de Riesgo Agentic, un marco de capa de liquidación diseñado para compensar a los usuarios cuando un agente de IA ejecuta incorrectamente una tarea, no entrega un servicio o causa pérdidas financieras.

“Las salvaguardias técnicas solo pueden ofrecer fiabilidad probabilística, mientras que los usuarios en entornos críticos a menudo requieren garantías aplicables sobre los resultados”, señala el documento.

Los autores argumentan que la mayoría de la investigación actual sobre IA se centra en mejorar el comportamiento de los modelos, lo que incluye reducir el sesgo, dificultar la manipulación de los sistemas y facilitar la comprensión de sus decisiones.

“Estos riesgos son fundamentalmente a nivel de producto y no pueden ser eliminados únicamente por salvaguardias técnicas, ya que el comportamiento del agente es inherentemente estocástico”, escribieron. “Para abordar esta brecha entre la fiabilidad a nivel de modelo y la garantía para el usuario, proponemos un marco complementario basado en la gestión del riesgo.”

El Estándar de Riesgo Agentic añade salvaguardias financieras al manejo de trabajos de IA. Para tareas sencillas donde el usuario solo arriesga pagar una tarifa de servicio, el pago se retiene en un fideicomiso y se libera solo después de confirmar el trabajo. Para tareas de mayor riesgo que requieren liberar dinero por adelantado, como el comercio o el intercambio de divisas, el sistema involucra a un asegurador. Este evaluará el riesgo, exigirá al proveedor del servicio que aporte garantías y reembolsará al usuario si ocurre un fallo cubierto.

El documento también señala que los daños no financieros, como las alucinaciones, la difamación o el daño psicológico, quedan fuera del marco propuesto.

Los investigadores informaron que el sistema fue probado mediante una simulación que realizó 5,000 ensayos, destacando que el experimento fue limitado y no estaba diseñado para reflejar las tasas de fallo en el mundo real.

“Estos resultados motivan futuros trabajos sobre modelado de riesgos para diversos modos de fallo, medición empírica de frecuencias de fallo en condiciones similares a las de despliegue, y el diseño de cronogramas de aseguramiento y colateral que se mantengan robustos ante errores de detección y comportamientos estratégicos”, indica el estudio.

Suscríbete a nuestro boletín diario
Comienza cada día con las principales noticias del momento, además de características originales, un pódcast, videos y más.

Fuente: decrypt.co