KI & Mensch
Kurz gesagt
Übertriebenes Vertrauen macht die Fehler eines Systems zu sozialen Tatsachen: Wird ein Ergebnis als Standarddarstellung der Realität behandelt, braucht seine Korrektur mehr Beweise, als seine Erzeugung je gekostet hat.
Die Ausgabe eines vertrauenswürdigen Systems kostet nichts in der Erzeugung und wird standardmäßig akzeptiert. Ihr zu widersprechen erfordert, Beweise zu sammeln, jemanden zu finden, der bereit ist zu prüfen, und über die erste Antwort hinaus dranzubleiben.
Diese Asymmetrie ist das ganze Problem. Das System muss nicht oft falschliegen — es muss nur sein, dass falschliegen viel billiger ist als korrigiert zu werden.
Die Überprüfung hört auf: Niemand kontrolliert mehr, weil Kontrolle nie etwas gefunden hat. Fähigkeiten verkümmern: Die Menschen, die prüfen könnten, werden versetzt. Und Widerspruch wird zu einer Charakterfrage statt zu einer sachlichen Behauptung.
Das Ziel ist nicht weniger Vertrauen, sondern zutreffendes Vertrauen — zu wissen, unter welchen konkreten Bedingungen dieses System unzuverlässig ist. Das setzt voraus, dass Organisationen Fehlermuster veröffentlichen, wozu die wenigsten strukturell motiviert sind.
Aurora Vales Schwierigkeit in The Unread ist nicht, dass jemand lügt. Es ist, dass ihre Darstellung Aufwand erfordert, um überhaupt in Betracht gezogen zu werden, während die Darstellung des Systems keinen erfordert.
Pauschales Misstrauen hat eigene Kosten und verschenkt echten Nutzen. Kalibriertes Vertrauen — zu wissen, wo das System versagt — ist das nützlichere Ziel.
The Unread erscheint zunächst auf Englisch. Übersetzte Ausgaben sind bislang nicht angekündigt.
Leserregister