Grundlagen
Kurz gesagt
Superintelligenz beschreibt hypothetische Fähigkeit weit über menschlichem Niveau, und sie ist relevant, weil gewöhnliche menschliche Aufsichtsverfahren ein Tempo und eine Transparenz voraussetzen, die es dann nicht mehr gäbe.
Superintelligenz bezeichnet ein hypothetisches System, das die beste menschliche Leistung in den meisten relevanten Bereichen deutlich übertrifft, einschließlich Strategie, Überzeugungskraft und wissenschaftlichem Denken.
Es ist ein spekulatives Konzept. Es ist aber kein Randthema: Es wird von Forschenden ernsthaft diskutiert, die sich über Wahrscheinlichkeit, Zeitrahmen und selbst darüber uneinig sind, ob der Rahmen überhaupt nützlich ist.
Ein sehr fähiges System ist nicht automatisch gefährlich. Die Sorge gilt der Kombination aus Fähigkeit mit unvollkommen festgelegten Zielen — dem Normalzustand jeder je verfassten Spezifikation.
Das ist das Ausrichtungsproblem in seiner unspektakulärsten Form. Es geht nicht darum, dass eine Maschine sich gegen uns wendet. Es geht um die Lücke zwischen dem, was wir verlangten, und dem, was wir meinten, bewertet von etwas, das unsere unausgesprochenen Annahmen nicht teilt.
Menschliche Aufsicht setzt drei Dinge voraus: dass wir beobachten können, was das System tut, verstehen können, warum, und rechtzeitig eingreifen können. Jede Annahme wird mit steigender Fähigkeit schwächer, und sie schwächen gemeinsam.
Deshalb konzentriert sich so viel ernsthafte Arbeit auf Interpretierbarkeit und darauf, Systeme korrigierbar zu halten. Ziel ist nicht, Fähigkeit einzuschränken, sondern die Bedingungen zu bewahren, unter denen Aufsicht noch etwas bedeutet.
Ob heutige Methoden auf dieses Niveau skalieren, ist offen. Ob diese Art von Intelligenz eine einzelne Größe ist, die sich übertreffen lässt, ist umstritten. Ob der Risiko-Rahmen näherliegende Schäden verdrängt, ist ein legitimer, laufender Streit.
Jede Seite zu diesem Thema, die das Ergebnis als geklärt darstellt, gibt den Stand des Wissens falsch wieder, in welche Richtung auch immer.
Fiktion kann eine ungeklärte Frage offenhalten, ohne sie klären zu müssen, und das ist genau die richtige Haltung. Sie kann auch etwas, das Argumentation nicht kann: zeigen, wie sich Fügsamkeit von innen anfühlt.
The Unread arbeitet bewusst in kleinerem Maßstab als Superintelligenz. Es interessiert sich für den ersten Schritt — ein System, dem so vertraut wird, dass Widerspruch sozial teuer wird —, weil dieser Schritt nicht hypothetisch ist.
Die Fachmeinung ist bei Wahrscheinlichkeit und Zeitpunkt ernsthaft gespalten. Diese Seite bezieht dazu keine Position.
The Unread erscheint zunächst auf Englisch. Übersetzte Ausgaben sind bislang nicht angekündigt.
Leserregister