Las métricas de equidad en inteligencia artificial consiste en equilibrar las necesidades y derechos de los individuos con los de los grupos a los que pertenecen. En esta interacción, los cuerpos, como sujetos de políticas, datos y decisiones, son tanto el objeto de la equidad como el espacio donde se manifiestan sus fallas. Al mismo tiempo, traducir valores éticos en métricas matemáticas resalta los límites y riesgos de confiar únicamente en lo cuantitativo para resolver problemas profundamente humanos.

Muchas métricas de equidad, como paridad demográfica o igualdad de oportunidades, priorizan problemas entre grupos tales como género o raza. No obstante, esta priorización puede generar nuevas desigualdades dentro de esos mismos grupos. Por ejemplo:

Buscar igualdad en las tasas de aceptación entre grupos, sin necesariamente garantizar que los individuos más cualificados sean seleccionados. Esto puede incluir a personas menos capacitadas en un esfuerzo por equilibrar resultados entre géneros o razas.

Dar prioridad a contratar a los individuos más cualificados, independientemente del grupo, lo que puede excluir a grupos marginados.

Estas desigualdades generan costos. La primera puede aumentar la percepción de injusticia entre individuos del mismo grupo (un postulante cualificado rechazado mientras uno menos cualificado es aceptado). La segunda perpetúa desigualdades estructurales al priorizar una lógica de mérito que no considera las barreras históricas. Esta tensión refleja una realidad ineludible: no existe una solución técnica capaz de satisfacer simultáneamente todas las demandas de equidad.

La interseccionalidad complica aún más estas dinámicas. Un algoritmo que parece justo en términos de género (hombres/mujeres) o raza (blancos/negros), puede ser injusto para subgrupos en las intersecciones de estas categorías, como mujeres afro, indígenas, etc. Estas identidades no son meras combinaciones de atributos; son experiencias vividas que reflejan múltiples niveles de opresión y privilegio.

En un sistema de contratación, la representación equitativa de hombres y mujeres puede ocultar la exclusión sistemática de mujeres racializadas o indígenas. Esto subraya cómo la traducción de conceptos éticos en métricas matemáticas puede pasar por alto la complejidad de las experiencias humanas.

En el diseño de la Inteligencia Artificial, la traducción no solo implica convertir datos en modelos, sino también transcribir principios éticos en reglas operativas. Esta traducción puede ser empoderadora o dañina para los cuerpos que impacta.

Empoderadora en el sentido en que una Inteligencia Artificial que integra principios éticos mediante enfoques participativos y contextualizados puede visibilizar y mitigar desigualdades estructurales.

Dañina en el sentido en que si las decisiones se limitan a métricas aisladas, como maximizar precisión, las Inteligencias Artificiales pueden reforzar jerarquías preexistentes, ignorando los cuerpos marginados que quedan fuera de su diseño.

Priorizar lo mensurable sobre lo significativo en el sentido en que los cuerpos afectados por estas decisiones recuerdan que, detrás de cada dato, hay vidas humanas con historias complejas.

Para lograr una ética corporal en la Inteligencia Artificial y para abordar estas tensiones, sería clave una ética que reconozca tanto los cuerpos como los cuerpos que usan ensamblajes para programar a la Inteligencia Artificial:

Las métricas de equidad deben diseñarse de manera participativa, integrando las experiencias de los cuerpos afectados. Esto requiere un enfoque interdisciplinario que combine ética, ciencias sociales e ingeniería.

La equidad debería ser un proceso continuo, lo que incluye auditorías regulares para identificar y mitigar sesgos que surgen en datos y modelos.

Las métricas deben ir más allá de categorías rígidas y considerar las intersecciones complejas que definen las experiencias humanas.

Replantear el objetivo técnico de los modelos, priorizando minimizar daños sobre maximizar precisión. Esto quiere decir que lo ideal sería reorientar la eficiencia hacia resultados que reflejen valores humanos.

Los cuerpos, la traducción y la Inteligencia Artificial vistos desde una posibilidad ética en la equidad revela tensiones profundas entre lo cuantificable y lo ético, especialmente cuando consideramos cómo la Inteligencia Artificial impacta los cuerpos. En el centro de estas tensiones yace un desafío, traducir conceptos éticos complejos, como la equidad, en métricas operativas que puedan implementarse en modelos matemáticos. Sin embargo, esta traducción no es neutral ni perfecta, es un acto cargado de decisiones políticas, éticas y culturales que afectan directamente a las corporalidades.

Primero que todo, el cuerpo en el centro del problema refleja que los cuerpos son los sujetos finales de las decisiones algorítmicas. Por ejemplo, en el caso de las métricas de paridad demográfica y de igualdad de oportunidades, los cuerpos se convierten en estadísticas como los números de aceptación o rechazo y probabilidades calculadas. Esto despersonaliza a los individuos y reduce sus complejas experiencias a puntos de datos que se integran en sistemas automatizados.

Además, el impacto sobre los cuerpos marginados no puede desvincularse de sus contextos culturales y sociales. Por ejemplo, la paridad demográfica puede corregir desigualdades numéricas, pero si la Inteligencia Artificial perpetúa estereotipos o malinterpreta características culturales en sus métricas de similitud, los cuerpos aún enfrentan injusticias.

segundo, la traducción vista desde las posibilidades éticas hasta la matemática implica que la traducción de conceptos éticos en modelos matemáticos, como los índices de entropía generalizada o las métricas de equidad grupal, enfrenta una paradoja fundamental ya que la ética es intrínsecamente contextual y fluida, mientras que las matemáticas buscan exactitud, consistencia y universalidad. Esto da lugar a dilemas como el teorema de imposibilidad, donde no es posible satisfacer simultáneamente múltiples métricas de equidad.

Este proceso de traducción puede ocultar o amplificar sesgos, dependiendo de cómo se define y mide la similitud entre individuos. Por ejemplo, al intentar medir similitud entre postulantes a un empleo, ¿cómo se traduce la experiencia laboral de una mujer en un contexto cultural donde históricamente se han excluido sus contribuciones? Traducir esta experiencia en un valor numérico puede distorsionar las realidades de los cuerpos que pretende representar.

Tercero, la Inteligencia Artificial como cuerpo traductor indica que no solo traduce datos, sino también cuerpos y experiencias, reduciéndolos a representaciones que interactúan con sistemas automatizados. Por lo tanto, la Inteligencia Artificial actúa como un “cuerpo traductor” que interpreta y reconfigura las relaciones de poder existentes. Un ejemplo es la dificultad de aplicar métricas de equidad grupal en contextos donde las desigualdades históricas han creado disparidades profundas en las oportunidades educativas y económicas.

Por último, el problema surge cuando la Inteligencia Artificial perpetúa, en lugar de mitigar, estas desigualdades. Por ejemplo, si una métrica de igualdad de oportunidades selecciona predominantemente a individuos del grupo mayoritario debido a sus mayores tasas de calificación previa, las dinámicas de poder se refuerzan, y los cuerpos del grupo minoritario quedan relegados.

Para lograr unas posibilidades éticas dentro de las cartografías de tecnodiversidades es necesario que:

Las métricas de equidad deben reevaluarse constantemente en función de los contextos sociales, políticos y culturales en los que se aplican. Esto implica un enfoque repetitivo y dinámico en la toma de decisiones algorítmicas.

Los cuerpos no pueden reducirse a datos estadísticos. Es necesario desarrollar métodos participativos que integren las experiencias vividas de los afectados por las decisiones algorítmicas en el diseño y evaluación de la Inteligencia Artificial.

En lugar de intentar traducir la ética directamente a matemática, podemos fomentar una interacción entre disciplinas, incluyendo la filosofía, las ciencias sociales y la ingeniería, para que la traducción sea más inclusiva y representativa.

Las métricas de similitud deben ser auditadas desde perspectivas interdisciplinarias para garantizar que no perpetúen sesgos ni deshumanicen a los sujetos.

Los sistemas algorítmicos, al ser entrenados con datos que reflejan desigualdades históricas y sesgos humanos, reproducen dinámicas opresivas y las proyectan en relación con las corporalidades.

Los cuerpos de las mujeres, específicamente aquellos identificados por marcadores de género como “women’s chess club” o la asistencia a “women’s colleges”, fueron desvalorizados en el proceso algorítmico.

Esto demuestra cómo los algoritmos no operan en un vacío abstracto, sino que tienen efectos tangibles sobre cuerpos concretos, excluyendo a mujeres de procesos laborales que moldean sus trayectorias de vida.

La decisión del algoritmo de penalizar referencias asociadas al género femenino refuerza la idea de que los cuerpos masculinos (y sus experiencias) son el estándar de valor y éxito, mientras que los cuerpos femeninos son vistos como una desviación de la norma.

Esta jerarquización de corporalidades, basada en datos históricos sesgados, solidifica desigualdades estructurales en espacios laborales.

Al absorber y amplificar los sesgos históricos, el algoritmo no solo afectó a las corporalidades que estaban representadas en los datos, sino que también condicionó qué tipos de cuerpos e identidades serían visibles, aceptables y valiosas en el futuro.

Este mecanismo tiene implicaciones profundas, pues define quién puede ocupar ciertos espacios de poder y autoridad.

Aunque el sesgo identificado fue de género, este caso subraya cómo las tecnologías algorítmicas pueden replicar múltiples formas de discriminación (de raza, clase, género, orientación sexual, discapacidad, etc.), que afectan a los cuerpos.

Las corporalidades no son homogéneas, y un sistema que discrimina en función de un aspecto frecuentemente reproduce desigualdades en otras dimensiones.

El hecho de que Amazon no pudiera corregir el sesgo a pesar de múltiples intentos indica cómo la opresión de ciertas corporalidades no es un accidente técnico, sino un reflejo de sistemas históricos de exclusión profundamente enraizados.

Los cuerpos que se quedaron fuera del proceso laboral son una evidencia de cómo la tecnología puede perpetuar desigualdades en lugar de eliminarlas.