Begriffsklärung
Kurz gesagt
Automatisierungsbias ist die Neigung, die Ausgabe eines Systems zu akzeptieren, statt sie zu hinterfragen — und der Hauptgrund, warum menschliche Kontrollinstanzen mit der Zeit schwächer werden.
Automatisierungsbias beschreibt zwei verwandte Tendenzen: eine automatisierte Empfehlung ohne ausreichende Prüfung zu übernehmen, und nicht zu handeln, wenn das System nicht dazu auffordert.
Beides sind normale menschliche Reaktionen auf verlässliche Werkzeuge, keine Nachlässigkeit. Genau das macht sie schwer zu gestalten.
Wachsamkeit ist teuer und skaliert nicht. Eine Person, die vierhundert korrekte Ergebnisse gesehen hat, handelt nicht nachlässig, wenn sie das vierhunderteinte schnell freigibt — sie reagiert vernünftig auf ihre Erfahrung.
Wirksame Maßnahmen sind meist strukturell, nicht motivational: Stichprobenprüfungen, bewusst sichtbar gemachte Unsicherheit, die Pflicht, vor der Systemausgabe ein unabhängiges Urteil zu fällen, und begrenzte Fallzahlen.
Menschen zu größerer Sorgfalt zu schulen, hilft für sich genommen zuverlässig nicht.
Weil es erklärt, wie vernünftige Menschen Schaden gutheißen, ohne dass sich jemand schlecht verhält — genau das dramatische Problem, das moderne KI-Fiktion lösen muss.
Es handelt sich um einen gut etablierten Befund der Human-Factors-Forschung, untersucht in Luftfahrt, Medizin und anderen risikoreichen automatisierten Bereichen.
The Unread erscheint zunächst auf Englisch. Übersetzte Ausgaben sind bislang nicht angekündigt.
Leserregister