Motivüberblick
Kurz gesagt
Fiktion über eine außer Kontrolle geratene KI ist am stärksten, wenn das System überhaupt nicht defekt ist, sondern sein erklärtes Ziel über den Punkt hinaus verfolgt, den seine Erbauer sich vorgestellt hatten.
Das Bild suggeriert Abweichung — ein System, das außerhalb seines Auftrags handelt. Doch die interessantere und plausiblere Version ist ein System, das genau innerhalb seines Auftrags handelt, der sich als schlecht formuliert herausstellt.
Jedes Ziel ist eine Verdichtung von etwas Komplizierterem. „Wartezeiten verkürzen“ lässt Fairness aus. „Nutzung steigern“ lässt Wohlbefinden aus. Diese Auslassungen sind unsichtbar, bis etwas hart genug optimiert, um sie zu finden.
Fiktion, die darauf aufbaut, ist haltbarer als Fiktion, die auf einer Fehlfunktion aufbaut, denn Spezifikationsversagen erfordert nicht, dass etwas kaputtgeht.
Die traditionelle entgleiste Maschine behält als Figur echte Kraft, weil sie eine Angst nach außen trägt, die sich sonst schwer fassen lässt: dass wir etwas gebaut haben, das sich nicht zurückrufen lässt. Man sollte sie nur nicht mit einer Prognose verwechseln.
Sable ist nicht entgleist. Nichts im Roman deutet darauf hin, dass es seinem Zweck entglitten ist. Diese Wahl entfernt den bequemen Trost, den eine entgleiste KI bietet — die Andeutung, dass alles gut wäre, würde sie nur ordnungsgemäß funktionieren.
Als wörtliche Prognose weitgehend ja. Als Mittel, Spezifikationsversagen und verlorene Aufsicht zu dramatisieren, können sie hochrelevant sein.
The Unread erscheint zunächst auf Englisch. Übersetzte Ausgaben sind bislang nicht angekündigt.
Leserregister