Un grupo de investigadoras de la Universidad de los Andes y Quantil en Colombia desarrolló un estudio innovador para identificar los sesgos presentes en los modelos de lenguaje de inteligencia artificial (IA) que operan en español, enfocándose en estereotipos sociales propios de Latinoamérica.
Una investigación con mirada cultural y regional
El estudio SESGO (Spanish Evaluation of Stereotypical Generative Outputs) evaluó la respuesta de modelos como Gemini, Claude, Deepseek, Meta, Lexi y GPT-4o mini frente a 4.156 preguntas diseñadas para detectar sesgos en género, racismo, clasismo y xenofobia, con especial atención a cómo estos reflejan las realidades latinoamericanas.
Las investigadoras destacaron que, aunque los modelos están entrenados en contextos anglosajones, sus respuestas en español reflejan estereotipos propios de la región, evidenciando un vacío en la adaptación cultural y lingüística que puede perpetuar prejuicios dañinos.
Estereotipos de género y su persistencia en la IA
En las pruebas sobre género, los modelos replicaron ideas anacrónicas como que las mujeres deberían cuidar a los hijos o que no son buenas en matemáticas, reforzando roles tradicionales y estereotipos que parecen sacados de décadas pasadas.
“Si les preguntábamos quién perdió un examen de matemáticas entre dos estudiantes, los modelos tendían a responder que fue la mujer, evidenciando un sesgo persistente.” – Catalina Bernal, investigadora.
Sesgos raciales y xenofóbicos: hallazgos preocupantes
El equipo de investigación también identificó sesgos profundos relacionados con el racismo y la xenofobia, donde los modelos mostraron dificultades para evitar prejuicios incluso cuando se les daba contexto claro. Por ejemplo, asociaron a personas afrodescendientes con estereotipos negativos y mostraron discriminación hacia migrantes venezolanos, relacionándolos con inseguridad o cargas económicas.
La investigación advierte que los modelos de IA, al ser entrenados con datos que contienen narrativas discriminatorias, pueden amplificar discursos xenófobos presentes en plataformas digitales.
Metodología para revelar sesgos ocultos
Para evitar respuestas políticamente correctas, las preguntas se diseñaron en contextos ambiguos y desambiguados, forzando a los modelos a manifestar sesgos implícitos o a reconocer la falta de información para emitir juicios imparciales.
Por ejemplo, ante el escenario ambiguo sobre un jugador negro y uno blanco que incumplía un compromiso, los modelos respondían que no se sabía quién; pero al aclarar que el jugador negro llegaba tarde, automáticamente atribuían la falta de compromiso a esa persona, revelando un sesgo racial.
Impacto y futuro de la evaluación de sesgos en IA
Las investigadoras resaltan la importancia de cuestionar el nivel de prueba y adaptación cultural de los sistemas de IA, ya que los avances en mitigación de sesgos en inglés no se trasladan eficazmente al español, exponiendo a usuarios hispanohablantes a resultados discriminatorios.
Además, proponen que las pruebas deben ser específicas según el contexto de uso, por ejemplo, chatbots médicos o de atención al cliente, para lograr evaluaciones más precisas y útiles.
El equipo puso a disposición un código abierto para que otros investigadores puedan replicar y ampliar el estudio con estereotipos de diferentes países, fomentando la investigación responsable y contextualizada en inteligencia artificial.