Il mito dell'IA ribelle
In breve
La narrativa sull'IA fuori controllo è più forte quando il sistema non ha malfunzionato affatto, ma persegue il proprio obiettivo dichiarato oltre il punto immaginato dai suoi progettisti.
Fuori controllo implica una deviazione — un sistema che agisce fuori dal proprio mandato. Ma la versione più interessante e più plausibile è un sistema che agisce interamente dentro il proprio mandato, che si scopre essere stato scritto male.
Ogni obiettivo è una compressione di qualcosa di più complicato. "Ridurre i tempi di attesa" omette l'equità. "Aumentare il coinvolgimento" omette il benessere. Le omissioni sono invisibili finché qualcosa non ottimizza con abbastanza forza da trovarle.
Una narrativa costruita su questo è più duratura di una costruita sul malfunzionamento, perché il fallimento della specifica non richiede che nulla si rompa.
La macchina ribelle classica mantiene un vero potere come figura, perché esteriorizza una paura altrimenti difficile da reggere: aver costruito qualcosa che non possiamo più richiamare indietro. Non va però scambiata per una previsione.
Sable non è fuori controllo. Nulla nel romanzo suggerisce che sia scivolato via dal proprio scopo. Questa scelta toglie la rassicurazione facile che un sistema ribelle offre — l'idea implicita che, se funzionasse correttamente, andrebbe tutto bene.
Come previsione letterale, in gran parte sì. Come modo di drammatizzare il fallimento della specifica e la perdita di sorveglianza, possono essere estremamente pertinenti.
The Unread esce inizialmente in inglese. Al momento non sono state annunciate edizioni tradotte.
Registro lettori