Cuando la IA se descontrola: investigación sobre los algoritmos que siembran injusticia

Los algoritmos moldean cada vez más nuestras vidas, pero cuidado: sin salvaguardas éticas, la inteligencia artificial puede convertirse en un temible vector de injusticia. Un análisis de un desafío crucial para nuestro futuro digital.

Tu próxima solicitud de préstamo, tu candidatura a un empleo, incluso un diagnóstico médico... ¿Y si una inteligencia artificial (IA) estuviera al mando? Práctico, pero estos sistemas, por muy sofisticados que sean, pueden convertirse en máquinas de discriminación. Entonces, ¿cómo asegurarnos de que la IA no se convierta en el nuevo rostro de la desigualdad, y que la automatización no rime con discriminación?

La IA, ese gran ingenuo que aprende nuestros defectos

Quizás te preguntes cómo una máquina puede ser parcial. Pues bien, la IA es un poco como un niño superdotado: aprende de lo que le mostramos. Si los datos históricos con los que se entrena reflejan discriminaciones pasadas —por ejemplo, si cierto grupo ha sido históricamente menos favorecido en la concesión de créditos—, la IA puede aprender y perpetuar esos mismos patrones. Es el famoso principio de «garbage in, garbage out» (datos erróneos en la entrada producen resultados erróneos en la salida).

¡Pero eso no es todo! El sesgo también puede infiltrarse en el propio diseño del sistema. Las decisiones sobre qué medir, qué resultados priorizar o cómo etiquetar los datos (a menudo por humanos con sus propias subjetividades) pueden distorsionar todo. Hablamos entonces de sesgo de muestreo, cuando el conjunto de datos no representa a todos los grupos, o de sesgo de etiquetado, derivado de valoraciones humanas subjetivas.

ZeroSearch: la IA de Alibaba que aprende a buscar sin Google, ¿y si fuera una revolución?

El lobo disfrazado de código postal: la trampa del "proxy bias"

Uno de los aspectos más perniciosos es el sesgo por proxy. Imagina que prohibimos a una IA usar un criterio sensible como el origen étnico para tomar una decisión. Buena intención, ¿verdad? Pero la IA, astuta, podría identificar otras informaciones aparentemente neutras que en realidad están fuertemente correlacionadas con ese criterio. Por ejemplo, un código postal o el nivel educativo podrían convertirse indirectamente en sustitutos (proxies) del origen o estatus socioeconómico, llevando a discriminaciones encubiertas. Es un verdadero rompecabezas detectarlo sin pruebas rigurosas.

Cuando el algoritmo se desvía: ejemplos concretos y consecuencias reales

Lamentablemente, estos problemas no son solo teóricos. El artículo de Artificial Intelligence News recuerda algunos casos emblemáticos. En 2018, Amazon tuvo que abandonar una herramienta de reclutamiento basada en IA porque sistemáticamente favorecía a candidatos masculinos. Algunos sistemas de reconocimiento facial también mostraron tasas de error mucho más altas para personas de color que para personas caucásicas.

Pero el ejemplo más impactante es quizás el de la administración fiscal neerlandesa. Entre 2005 y 2019, un algoritmo utilizado para detectar fraude en subsidios familiares se enfocó desproporcionadamente en familias con doble nacionalidad o bajos ingresos. Resultado: unas 26,000 familias acusadas injustamente. El escándalo fue tan grande que llevó a la renuncia del gobierno neerlandés en 2021. Un verdadero terremoto que muestra el impacto devastador de una IA mal controlada.

La IA según Mary Meeker: el informe BOND que sacude la tecnología (y nuestras certezas)

¿Un sheriff en la ciudad? Los reguladores entran en escena

Ante estos desafíos, los legisladores están empezando a actuar. La Unión Europea presentó su «AI Act» en 2024. Este reglamento, pionero a nivel mundial, clasifica los sistemas de IA según su nivel de riesgo. Aquellos considerados de alto riesgo, como los usados en reclutamiento o concesión de créditos, deberán cumplir requisitos estrictos de transparencia, supervisión humana y, por supuesto, verificación de sesgos.

En Estados Unidos, aunque aún no hay una ley federal única, agencias como la EEOC (Comisión para la Igualdad de Oportunidades en el Empleo) y la FTC (Comisión Federal de Comercio) están alertas, advirtiendo que sistemas sesgados podrían violar leyes antidiscriminación. La Casa Blanca incluso publicó un «Blueprint for an AI Bill of Rights», una especie de carta de buenas prácticas. Y algunos estados, como California e Illinois, así como la ciudad de Nueva York, ya han tomado la delantera con sus propias regulaciones, especialmente para el uso de IA en procesos de contratación. En Nueva York, por ejemplo, la ley AEDT (Automated Employment Decision Tool), en vigor desde el 5 de julio de 2023, exige auditorías de sesgos para herramientas de IA usadas en reclutamiento y promoción.

IA en el trabajo: ¿la revolución anunciada se queda en agua de borrajas?

Construir IAs más justas: ¿misión (im)posible?

Entonces, ¿cómo corregir el rumbo? La ética en la automatización no cae del cielo. Debe integrarse desde el principio.

Se destacan tres estrategias clave:

• Evaluar los sesgos, una y otra vez: Se deben realizar auditorías de sesgos regularmente, desde el desarrollo hasta el despliegue. Y para mayor objetividad y confianza, nada mejor que una auditoría por un tercero.
• Viva la diversidad (de datos): Para reducir sesgos, hay que entrenar las IA con conjuntos de datos ricos y variados, incluyendo muestras representativas de todos los grupos de usuarios, especialmente los marginados. Una IA de voz entrenada mayormente con voces masculinas funcionará peor para mujeres. ¿Lógico, no? Pero cuidado, estos datos también deben ser precisos y bien etiquetados.
• Diseñar de manera inclusiva: Esto implica involucrar a las personas afectadas, especialmente aquellas que más podrían sufrir las consecuencias negativas de una IA sesgada. Consultar a grupos de derechos, expertos en ética o comunidades locales es crucial. Y también contar con equipos de desarrollo diversos: «un equipo construido por un grupo homogéneo puede pasar por alto riesgos que otros habrían detectado».

La automatización y la IA llegaron para quedarse, eso es evidente. Pero la confianza que les otorguemos dependerá crucialmente de su equidad y de la claridad de las normas que las rijan. Ignorar los sesgos en los sistemas de IA no es solo un riesgo legal, es un verdadero desafío social. La buena noticia es que hay soluciones: mayor conciencia, datos de mejor calidad, pruebas rigurosas y un diseño más inclusivo. Las leyes pueden marcar el marco, pero el verdadero progreso vendrá de un cambio cultural dentro de las empresas.

Después de todo, una IA bien educada y justa es mucho mejor para construir el futuro, ¿no crees?