Définition
En bref
Le biais d'automatisation désigne la tendance à accepter la sortie d'un système plutôt qu'à l'examiner — et c'est la principale raison pour laquelle les garde-fous supervisés par des humains s'affaiblissent avec le temps.
Le biais d'automatisation décrit deux tendances liées : accepter une recommandation automatisée sans contrôle suffisant, et ne pas agir quand le système ne vous y invite pas.
Les deux sont des réactions humaines ordinaires face à des outils fiables, non de la négligence. C'est précisément ce qui les rend difficiles à contourner par la conception.
La vigilance coûte cher et ne passe pas à l'échelle. Un relecteur qui a vu quatre cents sorties correctes n'est pas négligent en approuvant rapidement la quatre cent unième ; il réagit rationnellement à son expérience.
Les mesures efficaces tendent à être structurelles plutôt que motivationnelles : des audits par échantillonnage, une incertitude délibérément mise en avant, l'exigence d'un jugement indépendant avant que la sortie du système ne soit affichée, et une charge de dossiers limitée.
Former les gens à être plus prudents, à elle seule, échoue de façon fiable.
Parce que cela explique comment des personnes raisonnables finissent par ratifier un préjudice sans que personne ne se comporte mal, ce qui est exactement le problème dramatique que la fiction IA moderne doit résoudre.
C'est un résultat bien établi dans la recherche sur les facteurs humains, étudié dans l'aviation, la médecine et d'autres contextes automatisés à forts enjeux.
The Unread paraît d'abord en anglais. Aucune édition traduite n'a été annoncée à ce jour.
Registre des lecteurs