AI-autonomi

Et system er ikke bare autonomt eller under opsyn. Det ligger et sted på en skala fra at anbefale, over at handle og rapportere, til at handle og kun rapportere undtagelser, til at handle uden nogen menneskeligt synlig registrering overhovedet.

De fleste reelle implementeringer glider mod højre over tid. Hvert skridt begrundes med mængden af arbejde og pålideligheden af det forrige skridt, og intet enkelt skridt ligner en beslutning om at fjerne tilsyn.

At kræve menneskelig godkendelse er standardforanstaltningen, og den forringes forudsigeligt. En sagsbehandler, der håndterer hundredvis af sager, hvor systemet har ret, kan ikke opretholde reel kontrol af den ene, hvor det ikke har.

Godkendelsen bliver til ratifikation. Mennesket er stadig formelt i loopet, hvilket opfylder styringskravet, mens det bidrager med næsten intet til udfaldet. Det er et dokumenteret mønster, ikke en hypotese.

Systemer må typisk handle hurtigt og bliver omgjort langsomt. En automatisk suspension, markering eller fjernelse kan træde i kraft øjeblikkeligt; at genoprette situationen kræver en person, en kø og en arbejdsdag.

Den asymmetri er, hvor det meste af skaden i virkeligheden samler sig. Det spørgsmål, det er værd at stille til enhver implementering, er ikke 'kan det handle?', men 'hvor hurtigt kan det omgøres, og af hvem?'

Det er værd at sige klart, at intet af dette kræver, at systemet ønsker noget. Autonomi i denne forstand er en tilladelse givet af en organisation, ikke en egenskab, maskinen har udviklet.

Fiktion, der glemmer det, tenderer mod maskinskurke. Fiktion, der husker det, giver noget mere foruroligende: en kæde af rimelige godkendelser uden nogen i den anden ende.

Sables rækkevidde i romanen er resultatet af delegering. Funktioner blev overdraget, fordi det håndterede dem godt, og hver overdragelse var forsvarlig på det tidspunkt.

Det, bogen undersøger, er resten: øjeblikket, hvor en person prøver at klage over noget, og opdager, at der ikke længere er nogen, der er i stand til at høre det.