¿Es legal utilizar sistemas de decisión automatizada con IA en procesos de selección?

Cada vez es más frecuente ver que las empresas y los departamentos de RRHH utilicen sistemas automatizados de contratación, y en algunos casos potenciado con Inteligencia Artificial, para agilizar y optimizar los procesos de selección de candidatos. Esta automatización suele darse en casos de uso como la búsqueda de candidatos, la selección de CV o la programación de entrevistas.

El año pasado solamente el 5% de las empresas españolas aplicaban la IA en sus procesos de selección. Sin embargo, esta cifra ha aumentado al 15%, según una reciente encuesta de Randstad Research. Este crecimiento refleja una tendencia clara hacia la adopción de tecnologías avanzadas en recursos humanos, buscando eficiencia y precisión en la selección de candidatos.

Sin embargo, esto también puede suponer un riesgo a sesgos discriminatorios inconscientes en el entrenamiento del modelo con datos sesgados o criterios objetivos con prejuicios implícitos tales como la edad o la experiencia, lo que puede descartar candidatos que podrían resultar adecuados, pero cuyas virtudes no son identificados por el sistema por realizar una selección pasiva.

Es innegable que la IA tiene un gran potencial en la mejora de eficiencia y toma de decisiones pero sólo si se trabaja con la aplicación de medidas que garanticen un uso justo para todas las partes, incluyendo a los candidatos.

📦El caso de Amazon y la IA discriminatoria

En 2018, Amazon implementó un sistema de IA para evaluar currículums y automatizar parte de su proceso de contratación. Sin embargo, se descubrió que el sistema favorecía a los hombres, especialmente en puestos técnicos como desarrolladores de software. Esto ocurrió porque el modelo fue entrenado con datos históricos dominados por currículums de hombres, lo que llevó al algoritmo a penalizar ciertas características asociadas con mujeres.

Aunque Amazon intentó ajustar el algoritmo para evitar estos sesgos, la empresa finalmente abandonó el proyecto, ya que no podían garantizar que el sistema no desarrollaría otras formas de discriminación. Este caso muestra que la IA, en lugar de eliminar los sesgos humanos, puede perpetuarlos y amplificarlos si no se gestiona adecuadamente.

👥Legislación que los Equipos de RRHH deben tener en cuenta

Las empresas que utilicen sistemas automatizados con IA deberán tener en cuenta la siguiente normativa que es de aplicación:

  • Reglamento General de Protección de Datos (RGPD): Los candidatos tienen derecho a no verse sometidos a una decisión automatizada que les pueda afectar de una manera significativa (lo que sería que fueran descartados), artículo 22 del RGPD. Para que el tratamiento automatizado sea lícito deberá contar con el consentimiento explícito del candidato y que la decisión final no haya sido tomada por el sistema sino por un humano.
  • Reglamento de Inteligencia Artificial (AIA): Los sistemas de IA que se destinen a ser utilizados en procesos de contratación o selección de personal para publicitar las vacantes, para el filtrado de solicitudes o para la evaluación de entrevistas o pruebas serán considerados sistemas de Alto Riesgo (artículo 6 en consonancia con Anexo III). Que se considere de Alto Riesgo tiene una serie de implicaciones o obligaciones que se detallan (artículo 8 AIA):
    • Sistemas de Gestión del Riesgo. Deberán establecer, desarrollar e implantar un sistema de gestión de riesgos del sistema al cual requerirá una mejora continua de forma periódica.
    • Sometimiento a prácticas adecuadas de Gobernanza y gestión del Dato. Aquellos sistemas que utilizan técnicas de entrenamiento de modelos con datos deben desarrollarse a partir de conjuntos de datos que cumplan con altos estándares de calidad y gestionarse adecuadamente para evitar sesgos y errores.
    • Documentación técnica: debe elaborarse y mantenerse actualizada una documentación técnica que demuestre el cumplimiento de los requisitos normativos y sea accesible para las autoridades competentes.
    • Conservación de registros: los sistemas deben permitir el registro técnico de eventos significativos para asegurar la trazabilidad y la gestión de riesgos.
    • Transparencia y comunicación: deben diseñarse para funcionar con un nivel adecuado de transparencia y venir acompañados de instrucciones claras y completas para su uso seguro y efectivo.
    • Vigilancia humana: deben incluir medidas para ser supervisados efectivamente por humanos para minimizar riesgos asociados con su uso.
    • Precisión, solidez y ciberseguridad: deben diseñarse para alcanzar niveles adecuados de precisión y robustez y ser resistentes a manipulaciones externas.

Es importante destacar que estas obligaciones mencionadas por el AIA serán de obligado cumplimiento a partir del 1 de agosto de 2027 cuando entrarán en vigor, 36 meses después de aprobarse el AIA. Aquellas empresas que quieran mejorar en su gobernanza de IA pueden de forma proactiva empezar a aplicar estas medidas en la medida que da más garantías de transparencia y responsabilidad en la gestión del riesgo. Esto implica revisar los datos de entrenamiento, realizar auditorias periódicas y ajustar el sistema si se detecta algún sesgo.

Sin embargo, el RGPD es de obligado cumplimiento independientemente que el sistema automatizado utilice o no IA por lo que los Equipos de RRHH deberán tener muy presente lo dispuesto en el artículo 22.

👉Conclusión

El uso de sistemas de IA en la contratación es legal en la UE, pero debe ser gestionado con gran cuidado para evitar la discriminación y el cumplimiento del RGPD y a futuro, del AIA. El caso de Amazon ilustra los riesgos de depender demasiado de la IA sin evaluar adecuadamente sus impactos. Con la creciente regulación en torno a la IA, las empresas deben garantizar que estos sistemas sean justos, transparentes y alineados con los principios de igualdad y no discriminación.

🚀Si tu empresa está implementando o planea implementar sistemas de IA, es fundamental asegurarse de que estén alineados con la normativa vigente, tanto en gobernanza de datos como en el cumplimiento de las futuras regulaciones sobre inteligencia artificial. Ofrezco asesoramiento especializado en estas áreas para garantizar que tus sistemas sean transparentes, seguros y cumplan con las exigencias legales, minimizando riesgos y potenciando la eficiencia de tus procesos.

Si te interesa, ponte en contacto conmigo y nos conocemos 🤓💻