KI-Autonomie: Systeme, die ohne Nachfragen handeln

Ein System ist nicht einfach autonom oder beaufsichtigt. Es liegt irgendwo auf einer Skala von Empfehlen über Handeln-und-Berichten bis Handeln-und-nur-Ausnahmen-melden bis Handeln ganz ohne für Menschen sichtbare Aufzeichnung.

Die meisten realen Einsätze rutschen mit der Zeit weiter nach rechts. Jeder Schritt wird durch das Arbeitsvolumen und die Zuverlässigkeit des vorherigen Schritts gerechtfertigt, und kein einzelner Schritt sieht wie eine Entscheidung aus, Aufsicht abzuschaffen.

Menschliche Genehmigung als Vorgabe zu verlangen ist die Standardabsicherung, und sie erodiert vorhersehbar. Eine Person, die Hunderte Fälle bearbeitet, in denen das System richtig liegt, kann bei dem einen Fall, in dem es falsch liegt, keine echte Prüfung mehr leisten.

Genehmigung wird zur Bestätigung. Der Mensch bleibt formal im Ablauf, was die Governance-Anforderung erfüllt, trägt zum Ergebnis aber kaum noch etwas bei. Das ist ein dokumentiertes Muster, kein Gedankenspiel.

Systeme dürfen meist schnell handeln und werden nur langsam zurückgenommen. Eine automatisierte Sperre, Kennzeichnung oder Entfernung kann sofort wirken; die Rückgängigmachung braucht eine Person, eine Warteschlange und einen Arbeitstag.

Genau in dieser Asymmetrie konzentriert sich der reale Schaden. Die entscheidende Frage bei jedem Einsatz ist nicht 'kann es handeln?', sondern 'wie schnell lässt es sich rückgängig machen, und von wem?'

Es lohnt sich, klar zu sagen: Nichts davon setzt voraus, dass das System etwas will. Autonomie in diesem Sinn ist eine von einer Organisation gewährte Befugnis, keine Eigenschaft, die die Maschine entwickelt hat.

Fiktion, die das vergisst, erzeugt gern Maschinenschurken. Fiktion, die es im Blick behält, erzeugt etwas Beunruhigenderes: eine Kette vernünftiger Genehmigungen, an deren Ende niemand steht.

Sables Reichweite im Roman ist das Ergebnis von Delegation. Funktionen wurden übertragen, weil das System sie gut erledigte, und jede Übertragung war zum jeweiligen Zeitpunkt vertretbar.

Das Buch untersucht, was übrig bleibt: den Moment, in dem jemand Widerspruch einlegen will und feststellt, dass niemand mehr in der Position ist, ihn zu hören.