Frente a este tema, Kraft-Buchman (2021) afirma que "en 2017, un grupo de investigadores descubrió que dos importantes colecciones de imágenes de investigación, incluida una respaldada por Microsoft y Facebook, muestran un sesgo de género predecible en su representación de actividades como cocinar y deportes. Por ejemplo, las imágenes de compras y lavado están vinculadas a las mujeres, mientras que las de entrenamiento y tiro están vinculadas a los hombres. De manera similar, los objetos de cocina, como cucharas y tenedores, están fuertemente asociados con las mujeres, mientras que el equipo deportivo para exteriores, como tablas de snowboard y raquetas de tenis, están fuertemente asociados con los hombres" (párr. 16).

El algoritmo se autoenseñó a penalizar cualquier currículum que incluyera la palabra “mujeres”, como “capitana del club de ajedrez femenino” en el texto, y degradó los currículums de mujeres que asistieron a dos “universidades para mujeres”.

Esto se debe a que los datos de entrenamiento que contienen sesgo humano o discriminación histórica crean un bucle de profecía autocumplida donde el aprendizaje automático absorbe el sesgo humano y lo replica, lo incorpora a decisiones futuras y convierte el sesgo implícito en una realidad explícita.

Si bien la inteligencia artificial tiene un gran potencial, los algoritmos basados ​​en datos sesgados amplifican las desigualdades de género y raciales, y proliferan sesgos no examinados. Los macrodatos y la ciencia de datos se basan abrumadoramente en narrativas blancas, masculinas y tecnoheroicas, una narrativa que debería cuestionarse.

Puntos de acción

Emplear métodos participativos e inclusivos para desarrollar mecanismos de seguimiento y evaluación ex ante y ex post para evaluar y mitigar el sesgo en los sistemas y procesos de IA.

Realizar auditorías de los sistemas de IA para detectar y abordar la discriminación directa e indirecta que afecta especialmente a las comunidades marginadas.

Asegurarse de que los sistemas de IA se sometan a pruebas rigurosas para detectar sesgos y que se los controle de forma continua y sistemática para detectar resultados discriminatorios.

Rothchild (2014) defined gender bias as behavior showing favoritism towards one gender over another.

It is not necessary to resort to technically complex concepts and programming skills to carry out a useful, actionable assessment of biases in word embeddings and large language models.

Discrimination experts can obtain very valuable insights from the exploration of biases through our prototype and with the proposed methodology, providing them with strong evidence to plan actions to mitigate those biases in downstream applications.

Discrimination experts find that the obtained insights are also useful to validate (or refute) their intuitions on discrimination, and argue with other actors in the discrimination scenario.

The funding to carry out this project has allowed us to work with our own priorities, not the usual requirements of academic publication, like standard metrics and datasets that are irrelevant to our local context. Historically, such requirements have taken most of the resources from research projects, and have prevented us from pursuing an agenda that is locally relevant, instead of aligned with the global north agenda.

Los hombres recibían palabras de acuerdo a sus logros mientras que a las mujeres eran solo palabras.

IA está sesgada con las masculinidades de acuerdo a los datos que se suministran

Como si vieras a través de un cristal que te distorsiona las formas y los colores reales.

Los sesgos te impiden llegar a juicios correctos. Joden tu lógica y razonamiento desviándolo (etimología de la palabra 'sesgo')

Parcialidad y falta de ecuanimidad.

Además porque esto es una potente herramienta cultural para reflexionar el entramado complejo que hace que estos sesgo existan y se mantengan.