Artículo
En resumen
El sesgo de automatización es la tendencia a aceptar el resultado de un sistema en vez de examinarlo, y es la razón principal por la que las salvaguardas de supervisión humana se debilitan con el tiempo.
El sesgo de automatización describe dos tendencias relacionadas: aceptar una recomendación automatizada sin comprobarla adecuadamente, y no actuar cuando el sistema no te avisa de que lo hagas.
Ambas son respuestas humanas normales ante herramientas fiables, no negligencia. Eso es lo que hace difícil diseñar en su contra.
La vigilancia es costosa y no escala. Un revisor que ha visto cuatrocientos resultados correctos no está siendo descuidado al aprobar rápido el cuatrocientos uno; está respondiendo racionalmente a su experiencia.
Las medidas que funcionan tienden a ser estructurales y no motivacionales: auditorías por muestreo, incertidumbre mostrada de forma deliberada, exigir un juicio independiente antes de mostrar el resultado del sistema, y limitar la carga de casos.
Formar a la gente para que sea más cuidadosa, por sí solo, sistemáticamente no funciona.
Porque explica cómo personas sensatas terminan ratificando un daño sin que nadie se comporte mal, que es exactamente el problema dramático que debe resolver la ficción de IA moderna.
Es un hallazgo bien establecido en la investigación de factores humanos, estudiado en aviación, medicina y otros entornos automatizados de alto riesgo.
The Unread se publica primero en inglés. Por el momento no se ha anunciado ninguna edición traducida.
Registro de lectores