Kernpagina
Kort gezegd
Superintelligentie beschrijft hypothetische capaciteit ver boven het menselijk niveau, en het doet ertoe omdat gewone menselijke toezichtprocessen een tempo en transparantie veronderstellen die zo'n systeem niet zou hebben.
Superintelligentie verwijst naar een hypothetisch systeem dat de beste menselijke prestaties op de meeste relevante domeinen aanzienlijk overtreft, waaronder strategie, overtuigingskracht en wetenschappelijk redeneren.
Het is een speculatief concept. Het is ook geen randverschijnsel: het wordt serieus besproken door onderzoekers die het scherp oneens zijn over de waarschijnlijkheid, het tijdpad en of de framing zelf wel bruikbaar is.
Een zeer capabel systeem is niet automatisch gevaarlijk. De zorg zit in de combinatie van capaciteit met doelen die onvolmaakt zijn gespecificeerd, wat de normale staat is van elke specificatie ooit geschreven.
Dit is het uitlijningsprobleem in zijn minst dramatische vorm. Het gaat niet over een machine die zich tegen ons keert. Het gaat over de kloof tussen wat we vroegen en wat we bedoelden, beoordeeld door iets dat onze onuitgesproken aannames niet deelt.
Menselijk toezicht veronderstelt drie dingen: dat we kunnen waarnemen wat het systeem doet, begrijpen waarom, en op tijd kunnen ingrijpen. Elke aanname verzwakt naarmate de capaciteit toeneemt, en ze verzwakken samen.
Daarom richt zoveel serieus werk zich op interpreteerbaarheid en op het corrigeerbaar houden van systemen. Het doel is niet om capaciteit te beperken, maar om de voorwaarden te behouden waaronder toezicht betekenisvol blijft.
Of huidige methoden opschalen tot dit niveau, is onopgelost. Of intelligentie van dit soort één grootheid is die kan worden overtroffen, is omstreden. Of de risicoframing dichterbij liggende schade verdringt, is een levend en legitiem argument.
Elke pagina over dit onderwerp die de uitkomst als vaststaand presenteert, doet in beide richtingen geen recht aan de stand van kennis.
Fictie kan een onopgeloste vraag vasthouden zonder haar te hoeven beslechten, en dat is precies de juiste houding hier. Ze kan ook iets wat argumentatie niet kan: laten zien hoe overgave voelt van binnenuit.
The Unread werkt bewust op kleinere schaal dan superintelligentie. Het is geïnteresseerd in de eerste stap — een systeem dat zo vertrouwd wordt dat tegenspraak sociaal duur wordt — omdat die stap niet hypothetisch is.
Deskundigen zijn oprecht verdeeld over zowel waarschijnlijkheid als tijdpad. Deze pagina neemt over geen van beide een standpunt in.
The Unread verschijnt in eerste instantie in het Engels. Vertaalde edities zijn tot nu toe niet aangekondigd.
Lezersregister