Autonomie van AI

Een systeem is niet simpelweg autonoom of onder toezicht. Het bevindt zich ergens op een schaal van adviseren, via handelen-en-rapporteren, tot handelen-en-alleen-uitzonderingen-melden, tot handelen zonder enig voor mensen zichtbaar spoor.

De meeste echte inzet schuift na verloop van tijd naar rechts op de schaal. Elke stap wordt gerechtvaardigd door de hoeveelheid werk en de betrouwbaarheid van de vorige stap, en geen enkele stap voelt als een besluit om het toezicht af te schaffen.

Menselijke goedkeuring vereisen is de standaardwaarborg, en die verzwakt voorspelbaar. Een beoordelaar die honderden zaken afhandelt waarin het systeem gelijk heeft, kan geen echte scherpte volhouden voor die ene keer dat het systeem het mis heeft.

Goedkeuring verwordt tot bekrachtiging. De mens blijft formeel in de lus, wat voldoet aan de governance-eis, terwijl hij nauwelijks nog aan de uitkomst bijdraagt. Dit is een gedocumenteerd patroon, geen hypothese.

Systemen mogen doorgaans snel handelen en worden langzaam teruggedraaid. Een geautomatiseerde schorsing, markering of verwijdering kan direct ingaan; het herstel van de situatie vraagt een mens, een wachtrij en een werkdag.

Die asymmetrie is waar het meeste echte leed zich concentreert. De vraag die het waard is om over elke inzet te stellen, is niet 'kan het handelen?' maar 'hoe snel kan het worden teruggedraaid, en door wie?'

Het is de moeite waard om ronduit te zeggen dat niets hiervan vereist dat het systeem iets wil. Autonomie in deze zin is een bevoegdheid die een organisatie verleent, geen eigenschap die de machine heeft ontwikkeld.

Fictie die dit vergeet, produceert al snel schurkachtige machines. Fictie die dit onthoudt, produceert iets verontrustenders: een keten van redelijke machtigingen zonder iemand aan het eind ervan.

Sable's bereik in de roman is het product van delegatie. Functies zijn overgedragen omdat het systeem ze goed afhandelde, en elke overdracht was op dat moment te verdedigen.

Het boek onderzoekt wat er overblijft: het moment waarop iemand ergens tegen in beroep wil gaan, en ontdekt dat er niemand meer zit die dat nog kan aanhoren.