El algoritmo se autoenseñó a penalizar cualquier currículum que incluyera la palabra “mujeres”, como “capitana del club de ajedrez femenino” en el texto, y degradó los currículums de mujeres que asistieron a dos “universidades para mujeres”.

Esto se debe a que los datos de entrenamiento que contienen sesgo humano o discriminación histórica crean un bucle de profecía autocumplida donde el aprendizaje automático absorbe el sesgo humano y lo replica, lo incorpora a decisiones futuras y convierte el sesgo implícito en una realidad explícita.