Agentes IA: ¿quién es el responsable (y paga la factura) en caso de error?
Las inteligencias artificiales "agentes", capaces de actuar en nuestro lugar, se están multiplicando. Pero cuando una de ellas comete un error, la cuestión de la responsabilidad se convierte en un verdadero rompecabezas.
¿Le pediste a tu asistente de voz que pidiera tu plato favorito y en su lugar te trajo un chucrut con embutidos en lugar de tu adorado sushi? O, más grave aún, ¿la IA de tu empresa aprobó un gasto incorrecto que le costó caro a la compañía? Bienvenido al fascinante y un tanto inquietante mundo de los agentes de IA, estos programas que prometen revolucionar nuestro día a día tomando iniciativas. Pero cuando estos prodigios tecnológicos fallan, una pregunta sencilla se vuelve un auténtico quebradero de cabeza: ¿quién es el responsable?
23/05/2025 05:34 JérômeAgentes de IA: ¿qué es este nuevo juguete?
Olvídate del simple chatbot que responde educadamente a tus preguntas. Los agentes de IA son como si le dieras a tu computadora una misión compleja y ella se las arreglara (casi) sola para cumplirla. Estos programas están diseñados para actuar de manera bastante autónoma, capaces de tomar decisiones y ejecutar tareas que van desde responder consultas de clientes hasta pagar facturas. Microsoft y otros gigantes tecnológicos incluso imaginan que se encargarán de funciones mucho más complejas, con una supervisión humana mínima.
El entusiasmo es palpable: la firma de análisis Gartner estima que los agentes de IA resolverán el 80% de las solicitudes comunes de servicio al cliente para 2029. En Fiverr, una plataforma donde las empresas pueden contratar programadores independientes, las búsquedas del término "agente de IA" literalmente explotaron, con un aumento del 18,347% en los últimos meses. ¿Da vértigo, no?
¿Varias IA son mejor que una? No tan simple...
La ambición máxima del sector es crear sistemas "multiagente". Imagina un equipo de IA especializadas que colaboran para reemplazar equipos humanos enteros. El ahorro de tiempo y dinero para las empresas parece obvio. Pero aquí es donde las cosas se complican, como experimentó Jay Prakash Thakur, un ingeniero de software que dedica su tiempo libre a prototipar estos sistemas. Usando AutoGen, un software de código abierto de Microsoft para construir agentes (Amazon lanzó una herramienta similar llamada Strands, y Google ofrece su "Kit de Desarrollo de Agentes"), encontró un problema importante.
Según Thakur, cuando agentes de diferentes empresas interactúan dentro de un mismo sistema grande, identificar quién es responsable en caso de un error de comunicación puede convertirse en un verdadero rompecabezas. Compara la dificultad de revisar los registros de errores de varios agentes con reconstruir una conversación a partir de notas fragmentadas de varias personas. "A menudo es imposible determinar con certeza la responsabilidad", explica.
IA en el restaurante: "¡Quería papas fritas, no ortigas!"
Para ilustrar sus preocupaciones, Thakur realizó experimentos reveladores. Uno involucraba un sistema de pedidos para un restaurante futurista capaz de aceptar órdenes personalizadas. Un usuario escribe "hamburguesas y papas fritas", un agente de IA busca un precio adecuado, traduce el pedido a una receta y luego lo envía a un equipo de robots con habilidades culinarias variadas. Aunque Thakur no tiene cocina comercial ni robots, su simulacro identificó trampas.
Nueve de cada diez veces, todo salía bien. Pero hubo fallos: un pedido de "anillos de cebolla" se convirtió en "cebollas extra". Solicitudes como "pan naan extra" fueron ignoradas. Los errores tendían a aparecer cuando Thakur intentaba procesar pedidos de más de cinco artículos. El peor escenario, en la vida real, sería servir mal a alguien con alergias alimentarias. En otro prototipo, un agente de comparación de compras encontró una buena oferta en un sitio de comercio electrónico pero enlazó incorrectamente a una página de producto en otro sitio, que mostraba un precio más alto. ¡Imagina la sorpresa si el agente hubiera sido programado para comprar automáticamente!
El gran vacío legal: ¿quién paga los platos rotos?
Entonces, cuando la IA comete un error con consecuencias financieras, ¿quién paga? Este es el meollo del problema. Joseph Fireman, asesor legal principal en OpenAI, dijo en una reciente conferencia jurídica que las partes afectadas tienden a demandar a quienes tienen "los bolsillos más profundos". Es decir, empresas como la suya tendrán que prepararse para asumir cierta responsabilidad, incluso si un usuario demasiado creativo originó el problema. "No creo que nadie espere ir tras el consumidor sentado en el sótano de su madre frente a su computadora", añadió. Para enfrentar estas situaciones, el sector de seguros ya comienza a ofrecer coberturas para problemas relacionados con chatbots de IA.
Recordemos que un cupón de descuento, inventado inadvertidamente por el chatbot de IA de una aerolínea el año pasado, fue considerado legalmente vinculante. Errores que pueden costar caro, como cuando Naveen Chatlapalli, un desarrollador que ayuda a empresas con agentes, vio a un agente de RRHH aprobar solicitudes de licencia que debería haber rechazado, o un agente tomador de notas enviar información sensible de reuniones al departamento equivocado.
AlphaEvolve: la IA de Google que programa más rápido que su sombra
¿Un "agente juez" para poner orden?
Ante este potencial caos digital, los desarrolladores esperan que un "agente juez" pueda supervisar estos sistemas, identificar y corregir errores antes de que escalen. Este superagente sería el gerente que entendería que el cliente quería anillos de cebolla, no una sobredosis de cebollas crudas. Sin embargo, Mark Kashef, un freelance que dirige una consultora de estrategia de IA llamada Prompt Advisers, teme que las empresas empiecen a sobrecargar los primeros sistemas con un número innecesario de agentes, creando una especie de burocracia digital.
Expertos legales sugieren que los usuarios de sistemas de agentes firmen contratos que transfieran responsabilidad a las empresas proveedoras. Pero seamos realistas, el consumidor promedio tendrá dificultades para imponer condiciones a gigantes tecnológicos. Además, como señaló Rebecca Jacobs, asesora legal asociada en Anthropic, en la misma conferencia, "surgirán preguntas interesantes sobre la capacidad de los agentes para eludir políticas de privacidad y términos de servicio" en nombre de los usuarios.
¿Lo sabías?
La fiebre por los agentes de IA es tal que, según datos de Fiverr, una plataforma de conexión con freelancers, las búsquedas del término "agente de IA" aumentaron un 18,347% en los últimos meses. ¡Una verdadera fiebre del oro digital!
Google I/O 2025: cuando la IA organiza tu correo y hace las compras
Sin pánico, pero con los ojos abiertos
Los agentes de IA prometen una automatización soñada, capaces de convertirse en nuestros asistentes personales definitivos. Sin embargo, como señala Dazza Greenwood, un abogado especializado en riesgos legales de agentes: "Si tienes una tasa de error del 10% con 'añade cebollas', para mí, no está listo para lanzarse. Primero hay que perfeccionar los sistemas para no dañar a la gente."
Antes de darles las llaves de la casa o, más crucial aún, nuestros datos y decisiones financieras, parece primordial definir bien las reglas del juego. Porque por ahora, está claro que aún no podemos relajarnos y dejar todo en las manos (virtuales) de los agentes.
Mientras todo esto se perfecciona, si tu IA te sugiere una receta de la abuela a base de tornillos y circuitos impresos, un consejo: ¡no saques tu delantal todavía!
Jerome
Experto en desarrollo web, SEO e inteligencia artificial, mi experiencia práctica en la creación de sistemas automatizados se remonta a 2009. Hoy en día, además de redactar artículos para descifrar la actualidad y los desafíos de la IA, diseño soluciones a medida e intervengo como consultor y formador para una IA ética, eficiente y responsable.