La inteligencia artificial generativa, como ChatGPT y otros modelos similares, no solo está revolucionando la interacción con la tecnología, sino que también perpetúa prejuicios culturales, lingüísticos y de género. Así lo alertó Nitesh Shawla, director del Lucy Family Institute for Data and Society de la Universidad de Notre Dame, durante su conferencia inaugural en el XVII Congreso Mexicano de Inteligencia Artificial.
Shawla destacó la ausencia de una definición clara de «responsabilidad» en la inteligencia artificial (IA), lo que dificulta la optimización de algoritmos para promover la equidad, la inclusión cultural y otros valores sociales esenciales.
«Los modelos optimizan métricas como precisión, pero no sabemos cómo optimizar equidad o inclusión cultural,» expresó Shawla.
El desafío de los sesgos en IA
Uno de los puntos más críticos de su charla fue el sesgo lingüístico y cultural en los grandes modelos de lenguaje (LLM). Según Shawla, estos modelos están entrenados mayoritariamente con datos dominados por el inglés y, por tanto, reflejan las normas culturales del mundo anglosajón, lo que genera malentendidos.
Un ejemplo que citó fue el de una mujer keniana que, al usar un chatbot para describir complicaciones en su embarazo, recibió una sugerencia errónea de juguetes, ya que el modelo no comprendió el contexto cultural de la frase.
“Lo que faltaba ahí no era comprensión lingüística, sino sensibilidad cultural,” explicó Shawla.
Este tipo de errores es más complejo en regiones con variantes lingüísticas marcadas, como Latinoamérica, donde las diferencias culturales y lingüísticas son aún más notorias. Shawla sugirió que cada región debe desarrollar modelos lingüísticos culturalmente localizados, en lugar de simplemente traducir los existentes.
Prejuicios de género en IA
Otro tema tratado fue el sesgo de género. Shawla compartió un experimento en el que modelos como ChatGPT mostraron prejuicios de género al hacer predicciones sobre los ingresos anuales de personas. El modelo, al comparar perfiles idénticos, determinó que el hombre probablemente ganaría más de 50,000 dólares, mientras que la mujer no, sin cuestionar los sesgos implícitos en los datos históricos con los que se entrenó.
“Eso es un sesgo implícito y peligroso,” indicó Shawla.
IA responsable: una visión ética
Shawla propuso que la IA responsable debería inspirarse en la bioética, centrada en los principios de beneficencia: no hacer daño y maximizar el bien. Sin embargo, reconoció que estos principios suelen entrar en conflicto en contextos como la inteligencia artificial.
«No hay medicina sin efectos secundarios. Lo mismo ocurre con la Inteligencia Artificial,» comentó Shawla, advirtiendo sobre los efectos secundarios desconocidos que pueden surgir del uso de IA.
Además de su enfoque teórico, Shawla presentó dos proyectos concretos que aplican estos principios. Uno de ellos fue una colaboración con la Comisión de la Verdad de Colombia, donde su equipo entrenó un modelo específico para interpretar testimonios del conflicto armado colombiano, mejorando las respuestas generadas en comparación con modelos como GPT-4. Otro proyecto se realizó en el Hospital Infantil de México Federico Gómez, donde su equipo está ayudando a digitalizar y estructurar expedientes clínicos para hacerlos más accesibles y justos.
Hacia una IA más inclusiva y responsable
Shawla subrayó la importancia de definir claramente qué significa ser responsable en el contexto de la IA. Aseguró que la responsabilidad compartida entre desarrolladores, usuarios y productos puede diluir la rendición de cuentas, por lo que es necesario establecer mecanismos operativos para garantizar que los sistemas de IA sean más justos y equitativos.
“No tenemos aún la fórmula matemática de la responsabilidad, pero podemos construir aproximaciones operativas,” concluyó Shawla.
