El sesgo no lo programó nadie: lo heredó el algoritmo de tus datos históricos

Por David Hurtado
Chief Possibility Officer (CPO) Fundador — Integrity-Led Futures | Integridad Artificial
Maestrando en Diseño de Futuros | Especialista en IA, Ciencia de Datos y Arquitecto de Soluciones

Hay una frase que escucho frecuentemente en las conversaciones con directivos sobre discriminación algorítmica: "Nosotros no programamos discriminación. El algoritmo es objetivo."

El algoritmo no es objetivo. Es imparcial en su aplicación de criterios, pero no es imparcial en los criterios que aprendió. Y los criterios que aprendió vienen de los datos con que fue entrenado. Y esos datos son el registro fiel de las decisiones humanas pasadas de la organización. Decisiones que, en casi todos los casos, contienen décadas de sesgos conscientes e inconscientes que nadie tuvo la intención de programar, pero que el algoritmo reproduce con perfecta fidelidad y escala global.

Esta es la paradoja del sesgo algorítmico: nadie lo pone en el sistema deliberadamente, y sin embargo el sistema lo tiene. Y la organización que no lo audita es responsable de él.

Cómo el sesgo entra en el algoritmo sin que nadie lo decida

Los modelos de machine learning aprenden de los datos. Específicamente, aprenden a encontrar patrones en los datos de entrenamiento y a replicar esos patrones en datos nuevos. Si los datos de entrenamiento contienen un patrón — aunque ese patrón sea el resultado de décadas de discriminación —, el modelo lo aprenderá y lo aplicará.

En el contexto de la gestión laboral, los datos de entrenamiento son los registros históricos de la organización: quién fue contratado, quién fue promovido, quién recibió evaluaciones de alto rendimiento, quién fue despedido, quién recibió aumentos. Esos registros son el espejo de las decisiones que los responsables de RRHH de la organización tomaron a lo largo de los años.

El caso más documentado es el de Amazon, que en 2018 descartó un sistema de selección de candidatos basado en IA que había desarrollado internamente porque los investigadores descubrieron que el modelo penalizaba currículums que incluían la palabra "mujeres" — como en "capitana del equipo de fútbol femenino" — y favorecía candidatos de universidades predominantemente masculinas (Dastin, 2018). El modelo no fue programado para discriminar mujeres. Aprendió a discriminarlas porque los datos históricos de contratación de Amazon, en roles técnicos, reflejaban una industria que durante décadas había contratado predominantemente hombres.

El algoritmo aprendió la historia. Y la reproducía.

Los mecanismos específicos del sesgo heredado

Los investigadores en equidad algorítmica han identificado varios mecanismos por los que el sesgo histórico entra en los modelos de gestión laboral:

Sesgo por correlación espuria: el modelo aprende que ciertas características — que parecen neutras desde la perspectiva del mérito — están correlacionadas con los resultados históricos. El código postal donde vive el candidato puede estar correlacionado con el origen étnico. El nombre puede correlacionarse con variables demográficas. La institución educativa puede correlacionarse con el nivel socioeconómico. El modelo no "sabe" que esas correlaciones existen; simplemente las usa porque predicen bien en los datos históricos.

Sesgo de representación en los datos de etiquetado: en los modelos de evaluación de desempeño, los datos de entrenamiento incluyen evaluaciones previas hechas por supervisores humanos. Si esos supervisores tenían sesgos — inconscientes o conscientes — esos sesgos están codificados en las etiquetas. El modelo aprende que ciertas características del trabajador predicen evaluaciones bajas, no porque esas características indiquen bajo rendimiento real, sino porque los supervisores históricos evaluaban más bajo a personas con esas características.

Sesgo de retroalimentación: una vez que el modelo está en operación, sus decisiones generan nuevos datos que retroalimentan el modelo. Si el sistema recomienda no contratar a candidatos de cierto perfil, ese perfil no llega a la organización, no hay datos de su desempeño potencial y el modelo "confirma" su sesgo porque nunca recibe evidencia contraria.

La integridad de datos como solución estructural

La Integridad Artificial propone que la integridad de datos es la dimensión más técnica del framework pero también una de las más críticas para la equidad de los resultados. No se trata de "limpiar" los datos en un sentido técnico — eliminar valores atípicos o completar campos vacíos. Se trata de auditar activamente los sesgos que los datos históricos contienen y corregirlos antes de que el modelo los aprenda.

Las técnicas de desbiasado de datos (debiasing) para sistemas de gestión laboral incluyen:

Rebalanceo de datos: asegurar que los datos de entrenamiento representen proporcionalmente a los grupos relevantes, especialmente aquellos que han sido históricamente subrepresentados en posiciones de éxito en la organización.

Eliminación de proxies discriminatorios: identificar y eliminar de los datos de entrenamiento las variables que, aunque parecen neutras, funcionan como proxies de variables protegidas. Si el código postal predice el origen étnico, el código postal no debería ser una variable del modelo de selección.

Recalibración de etiquetas: revisar y ajustar las evaluaciones históricas cuando hay evidencia de sesgo sistemático del evaluador. Si un supervisor específico evaluaba consistentemente más bajo a trabajadoras que a trabajadores con el mismo desempeño objetivo, esas evaluaciones necesitan ser revisadas antes de usarse como datos de entrenamiento.

Separación de variables protegidas: en algunos enfoques, el modelo se entrena explícitamente para ser independiente de ciertas variables protegidas, usando técnicas de aprendizaje con restricciones de equidad.

La auditoría de sesgo como práctica obligatoria

Más allá de las técnicas de pre-procesamiento de datos, la Integridad Artificial establece la auditoría periódica de sesgo como una práctica no opcional para cualquier sistema de gestión algorítmica en operación.

La auditoría de sesgo utiliza métodos estadísticos formales para detectar si el sistema produce resultados diferenciados entre grupos:

• Test de Mann-Whitney U para comparaciones entre dos grupos (ej: evaluaciones de mujeres vs. hombres): H₀: no hay diferencia en la distribución de puntajes entre grupos. Si p < 0.05, hay sesgo estadísticamente significativo.
• Test de Kruskal-Wallis para tres o más grupos (ej: distribución por rangos de edad).
• Tamaño del efecto (d de Cohen o eta cuadrado): d ≥ 0.5 indica sesgo de magnitud media; d ≥ 0.8 indica sesgo de magnitud grande. Estos umbrales deben reportarse como hallazgo crítico incluso cuando el valor p no alcanza significación estadística con muestras pequeñas.
• Análisis de impacto dispar (disparate impact analysis): la tasa de selección favorable de un grupo protegido no debe ser menor al 80% de la tasa del grupo más favorecido (regla de los 4/5 de la EEOC).

Lo que la ausencia de auditoría comunica

Cuando una organización no ha auditado los sesgos de sus sistemas algorítmicos de gestión, está comunicando — sin decirlo — varias cosas:

Está comunicando que confía en que el sistema es justo sin verificarlo. Que asume que si nadie programó discriminación, no hay discriminación. Que la protección legal de sus empleados contra la discriminación algorítmica no es una prioridad suficiente para invertir en verificarla.

Ese no es el perfil de una organización con integridad algorítmica. Es el perfil de una organización con exposición legal creciente y con el riesgo real de haber causado daño sistemático a grupos de trabajadores sin saberlo — y sin poder probarlo ni corregirlo si es cuestionada.

La auditoría de sesgo no es una admisión de culpa. Es el ejercicio de la diligencia debida que toda organización que gestiona personas mediante algoritmos está obligada a realizar.

Nadie programó el sesgo. Pero la organización que no lo busca, no lo encuentra. Y la que no lo encuentra, lo perpetúa.

Referencias

Barocas, S., Hardt, M., & Narayanan, A. (2023). Fairness and machine learning: Limitations and opportunities. MIT Press. https://fairmlbook.org

Dastin, J. (2018, October 10). Amazon scraps secret AI recruiting tool that showed bias against women. Reuters. https://www.reuters.com/article/us-amazon-com-jobs-automation-insight/

Equal Employment Opportunity Commission. (2023). Technical assistance document on the use of software, algorithms, and artificial intelligence to assess job applicants and employees. EEOC. https://www.eeoc.gov/laws/guidance/questions-and-answers-clarify-and-provide-a-common-interpretation-uniform-guidelines

FairNow. (2024). Workday lawsuit over AI hiring bias: What you need to know. https://fairnow.ai/workday-lawsuit-resume-screening/

Mehrabi, N., Morstatter, F., Saxena, N., Lerman, K., & Galstyan, A. (2021). A survey on bias and fairness in machine learning. ACM Computing Surveys, 54(6), 1–35. https://doi.org/10.1145/3457607

O'Neil, C. (2016). Weapons of math destruction: How big data increases inequality and threatens democracy. Crown.

Vleugels, W., De Witte, H., & Forrier, A. (2025). Algorithmic management and psychological distress at work. International Archives of Occupational and Environmental Health, 98(2), 145–162. https://doi.org/10.1007/s00420-025-02180-5