En un mundo donde la tecnología progresa rápidamente, la Inteligencia Artificial (IA) está asumiendo un papel cada vez más central en la toma de decisiones en diversos ámbitos. Sin embargo, surge una pregunta crucial: ¿qué sucede cuando estos algoritmos cometen errores?
Un estudio realizado por investigadores de Bikolabs (JAKALA) en colaboración con la Universidad de Deusto, sugiere que la supervisión humana en estos procesos, conocidos como procesos «human-in-the-loop», puede verse comprometida si la IA brinda un soporte algorítmico incorrecto.
Este fenómeno, llamado sesgo de automatización, destaca la tendencia humana a depender demasiado de los sistemas automatizados, incluso cuando estos cometen errores. Los investigadores realizaron dos experimentos simulando procesos automatizados de toma de decisiones en el ámbito judicial, donde los participantes debían juzgar a varios acusados por diferentes delitos.
Este estudio no solo ofrece una visión detallada de cómo la IA influye en las decisiones, sino que también plantea importantes preguntas sobre la implementación de sistemas automatizados.
Los resultados demostraron que el juicio humano fue más acertado cuando se emitió antes de recibir un apoyo incorrecto de la IA. Sin embargo, una vez que los participantes vieron una evaluación errónea por parte de la IA, la precisión de las decisiones disminuyó, incluso entre aquellos que habían juzgado correctamente al inicio del proceso. Este descubrimiento resalta la potencialmente perjudicial influencia del apoyo incorrecto de la IA en la precisión de las decisiones humanas, subrayando la importancia del orden en el que se presenta la información.
“Nuestro trabajo muestra la relevancia de seguir investigando sobre el impacto de la interacción entre humanos y sistemas de ayuda a decisión. Aunque se están comenzado a realizar auditorías de este tipo de sistemas, su foco suele centrarse en la parte más técnica. Por ello, seguimos necesitando descubrir cuál debería ser ese proceso de interacción entre humanos e IA que realmente derive en mejores decisiones”, afirman desde JAKALA, Karlos G Liberal, responsable del área de tecnología e Investigación y Ujué Agudo investigadora dentro del mismo departamento.
La IA en las decisiones humanas
La investigación también destaca un desafío persistente: la inclinación humana a depositar una confianza excesiva en el apoyo proporcionado por los sistemas. Este comportamiento puede llevar a los usuarios a aceptar sin cuestionar las recomendaciones de la IA, incluso cuando estas son incorrectas, lo que plantea preocupaciones significativas sobre la equidad, la exactitud y la ética de las decisiones automatizadas. Estos descubrimientos sugieren que, si bien la IA tiene el potencial de mejorar la toma de decisiones, es crucial abordar y mitigar el impacto de sus errores y sesgos para garantizar procesos de decisión justos y precisos.
El estudio también menciona un caso específico: el sistema RisCanvi, utilizado en Cataluña, España, para evaluar el riesgo de reincidencia de los reclusos, que ha generado controversia en el ámbito judicial. A pesar de su implementación, investigaciones recientes revelan una discrepancia mínima del 3.2% entre las evaluaciones de los funcionarios gubernamentales y el algoritmo del sistema. Aunque RisCanvi muestra una capacidad predictiva positiva del 18%, lo que sugiere que solo dos de cada diez reclusos clasificados como de alto riesgo reinciden, esta limitación no es evidente para aquellos que lo utilizan. Estos hallazgos resaltan la necesidad de una mayor transparencia y comprensión sobre el desempeño de los sistemas de evaluación de riesgos.
Las conclusiones de esta investigación no solo iluminan los desafíos inherentes a la interacción entre humanos y IA, sino que también ofrecen una valiosa perspectiva sobre cómo optimizar esta colaboración para mejorar la precisión y la equidad en las decisiones críticas. Estos descubrimientos subrayan la importancia de un diseño e implementación cuidadosos de los sistemas de IA, así como la necesidad de una supervisión humana informada y crítica.
