XAI: el derecho de tu empleado a entender por qué el sistema lo calificó así
Por David Hurtado
Chief Possibility Officer (CPO) Fundador — Integrity-Led Futures | Integridad Artificial
Maestrando en Diseño de Futuros | Especialista en IA, Ciencia de Datos y Arquitecto de Soluciones
Hay una pregunta que todo trabajador tiene derecho a hacerle a cualquier sistema que evalúa su desempeño: ¿Por qué? ¿Por qué esta calificación y no aquella? ¿Qué comportamientos la determinaron? ¿Qué peso tuvo cada variable? ¿Hay algo que pueda hacer diferente para cambiar el resultado?
Cuando quien evalúa es un ser humano — un jefe, un comité de evaluación — la pregunta tiene una respuesta posible, aunque imperfecta. Cuando quien evalúa es un algoritmo, la pregunta frecuentemente choca con un muro: el sistema genera un resultado, pero la lógica que lo produce es opaca. No por malicia, sino porque la mayoría de los modelos de machine learning que se usan en gestión de personas son, por su propia arquitectura, difíciles de explicar incluso para quienes los construyeron.
A esto se refiere el campo de la Inteligencia Artificial Explicable — XAI, por sus siglas en inglés — cuando habla de la "brecha de explicabilidad": la diferencia entre lo que el sistema puede hacer (predecir, clasificar, recomendar) y lo que puede decir sobre por qué llegó a esa conclusión.
Esa brecha no es un problema técnico menor. En el contexto de la gestión laboral, es un problema de derechos fundamentales, de justicia organizacional y de integridad algorítmica.
Qué es XAI y por qué existe
El término Explainable Artificial Intelligence (XAI) fue popularizado por la Defense Advanced Research Projects Agency (DARPA) de los Estados Unidos en 2016, cuando el organismo identificó que los sistemas de IA más poderosos — las redes neuronales profundas — eran también los más opacos: producían resultados altamente precisos pero cuya lógica interna era virtualmente incomprensible, incluso para sus propios diseñadores (DARPA, 2016).
El problema de la opacidad tiene múltiples dimensiones:
Dimensión técnica: los modelos de aprendizaje profundo (deep learning) operan a través de millones de parámetros que interactúan de maneras no lineales. No existe una función simple que mapee las variables de entrada al resultado de salida. El modelo "sabe" hacer algo, pero no puede decir cómo lo sabe.
Dimensión de confianza: cuando un sistema toma una decisión que no puede explicar, ¿cómo sabemos si es confiable? ¿Si el modelo funciona bien en las condiciones en que fue entrenado pero falla en condiciones nuevas? Sin explicabilidad, la confianza en el sistema es un acto de fe.
Dimensión de equidad: si el modelo produce resultados sesgados pero no puede explicar su lógica, ¿cómo se detecta el sesgo? ¿Cómo se corrige? La opacidad es el escudo perfecto del sesgo.
Dimensión de derechos: en el contexto laboral, si un algoritmo influye en decisiones sobre el empleo de una persona, esa persona tiene el derecho fundamental de conocer los criterios de esa decisión. La opacidad del sistema no es una razón válida para denegar ese derecho. Es una razón para exigir que el sistema sea diferente.
El AI Act y el derecho a la explicación
El AI Act europeo — el marco regulatorio más comprehensivo sobre inteligencia artificial en vigor en 2026 — clasifica los sistemas de IA que influyen en decisiones de contratación, evaluación de desempeño, promoción y terminación laboral como sistemas de "alto riesgo" y establece obligaciones específicas de explicabilidad (Artículo 13 y concordantes).
Las organizaciones que usan sistemas de IA de alto riesgo en entornos laborales están obligadas a:
- Diseñar el sistema de manera que sus decisiones puedan ser explicadas en términos comprensibles para las personas afectadas.
- Proporcionar a los trabajadores información sobre las características que el sistema considera relevantes para su evaluación.
- Garantizar que los trabajadores pueden conocer la lógica de las decisiones automatizadas que los afectan significativamente.
Esto no es una aspiración regulatoria futura. Es una obligación legal vigente para las empresas que operan en Europa y para aquellas que tienen relaciones comerciales con organizaciones europeas. Y es el estándar hacia el que el resto del mundo regulatorio se está moviendo.
XAI en términos de negocio, no de código
El error más común que cometen las organizaciones cuando se enfrentan a la exigencia de XAI es convertirlo en un problema técnico: "necesitamos cambiar el modelo". La realidad es que XAI, en el contexto de la gestión laboral, es principalmente un problema de comunicación y de diseño organizacional.
Un sistema de evaluación de desempeño con integridad no necesita revelar el código fuente del modelo. Necesita cumplir tres condiciones accesibles:
Condición 1 — Variables comprensibles: el trabajador sabe qué datos se usan para evaluarlo. No en términos técnicos, sino en términos de comportamiento. "Tu evaluación considera el tiempo de respuesta a solicitudes del cliente, el porcentaje de tareas completadas en el plazo acordado y la calificación promedio de tus interacciones en los últimos 30 días."
Condición 2 — Pesos aproximados: el trabajador tiene una idea de qué variables son más determinantes. No necesita conocer los pesos exactos del modelo, pero sí la jerarquía aproximada. "Los tres factores más importantes en tu evaluación son el resultado de calidad (40%), el cumplimiento de tiempos (35%) y la retroalimentación de clientes (25%)."
Condición 3 — Palancas de acción: el trabajador puede identificar qué acciones concretas tiene a su disposición para influir en su evaluación. Si el sistema es completamente opaco respecto a qué puede hacer el trabajador para mejorar, la evaluación es informativa pero no es gestionable.
La XAI pragmática — la que realmente protege al trabajador y a la organización — no requiere que el sistema sea técnicamente explicable en el nivel del modelo. Requiere que sus resultados sean comprensibles y accionables en el nivel del trabajador.
Las cinco preguntas de la XAI aplicada a la gestión laboral
El framework de Integridad Artificial propone cinco preguntas concretas para evaluar si un sistema de gestión algorítmica cumple con el estándar mínimo de explicabilidad que la IAI exige:
1. ¿Puede el trabajador saber qué datos recopila el sistema sobre él? Respuesta mínima aceptable: una lista accesible de las variables que el sistema monitorea, en lenguaje no técnico.
2. ¿Puede el trabajador entender cómo esos datos influyen en su evaluación? Respuesta mínima aceptable: una descripción comprensible de los criterios de evaluación y su importancia relativa.
3. ¿Puede el trabajador saber en tiempo real cuál es su situación actual? Respuesta mínima aceptable: acceso a su propio perfil de evaluación actualizado, con los indicadores relevantes visibles.
4. ¿Puede el trabajador cuestionar una evaluación que considera incorrecta? Respuesta mínima aceptable: un proceso de apelación claro, con tiempos de respuesta definidos y con acceso a un ser humano que pueda revisar el caso.
5. ¿Puede el trabajador tomar acciones específicas para mejorar su evaluación? Respuesta mínima aceptable: orientaciones claras sobre qué comportamientos o resultados tienen mayor impacto en la evaluación.
Si un sistema de gestión algorítmica no puede responder afirmativamente a estas cinco preguntas, no cumple el estándar de XAI aplicada a la gestión laboral, independientemente de cuán sofisticado sea técnicamente.
El argumento de negocio para invertir en XAI
La explicabilidad algorítmica no es solo un imperativo ético y regulatorio. Es una inversión con retorno medible en tres dimensiones:
Compromiso y desempeño: los trabajadores que entienden cómo son evaluados y qué pueden hacer para mejorar tienen niveles significativamente más altos de compromiso y de desempeño que aquellos que operan en la oscuridad de la opacidad. La claridad sobre las reglas del juego activa la motivación orientada a metas.
Reducción de conflictos y litigios: la mayoría de las impugnaciones de evaluaciones de desempeño — formales o informales — se origina en la percepción de arbitrariedad. Un sistema con XAI aplicada reduce la percepción de arbitrariedad al proporcionar criterios verificables, lo que disminuye los conflictos internos y el riesgo de litigios.
Mejora continua del sistema: cuando los trabajadores y los líderes pueden entender qué está midiendo el sistema, también pueden identificar sus deficiencias. Un sistema opaco es un sistema que no puede ser mejorado porque nadie puede ver qué está haciendo mal. La explicabilidad es el mecanismo por el cual el sistema aprende de sus propios errores.
La XAI no es el costo de cumplir con una regulación. Es la inversión que convierte un sistema de evaluación en una herramienta genuinamente útil para la organización y para las personas que trabajan en ella.
Referencias
Arrieta, A. B., Díaz-Rodríguez, N., Del Ser, J., Bennetot, A., Tabik, S., Barbado, A., ... & Herrera, F. (2020). Explainable Artificial Intelligence (XAI): Concepts, taxonomies, opportunities and challenges toward responsible AI. Information Fusion, 58, 82–115. https://doi.org/10.1016/j.inffus.2019.12.012
DARPA. (2016). Explainable artificial intelligence (XAI). Defense Advanced Research Projects Agency. https://www.darpa.mil/program/explainable-artificial-intelligence
European Parliament. (2024). Regulation (EU) 2024/1689 on artificial intelligence (AI Act), Articles 13–14. Official Journal of the European Union.
Goodman, B., & Flaxman, S. (2017). European Union regulations on algorithmic decision-making and a "right to explanation." AI Magazine, 38(3), 50–57. https://doi.org/10.1609/aimag.v38i3.2741
Selbst, A. D., & Barocas, S. (2018). The intuitive appeal of explainable machines. Fordham Law Review, 87(3), 1085–1139.
Thibaut, J., & Walker, L. (1975). Procedural justice: A psychological analysis. Lawrence Erlbaum Associates.
Vleugels, W., De Witte, H., & Forrier, A. (2025). Algorithmic management and psychological distress at work. International Archives of Occupational and Environmental Health, 98(2), 145–162. https://doi.org/10.1007/s00420-025-02180-5