Basisbegrip
Kort gezegd
Automatiseringsbias is de neiging om de uitkomst van een systeem te aanvaarden in plaats van haar te toetsen, en dat is de hoofdreden waarom waarborgen met een mens in de lus na verloop van tijd verzwakken.
Automatiseringsbias beschrijft twee verwante neigingen: een geautomatiseerde aanbeveling aanvaarden zonder voldoende controle, en niet ingrijpen wanneer het systeem daar niet toe aanzet.
Beide zijn gewone menselijke reacties op betrouwbare hulpmiddelen, geen nalatigheid. Juist dat maakt ze moeilijk te ontwerpen.
Waakzaamheid is kostbaar en schaalt niet. Een beoordelaar die vierhonderd correcte uitkomsten heeft gezien, is niet onzorgvuldig als hij de vierhonderdeerste snel goedkeurt; hij reageert redelijk op zijn ervaring.
Effectieve maatregelen zijn eerder structureel dan gericht op motivatie: steekproefsgewijze audits, opzettelijk zichtbaar gemaakte onzekerheid, een onafhankelijk oordeel eisen voordat de uitkomst van het systeem wordt getoond, en werklast beperken.
Mensen trainen om zorgvuldiger te zijn, helpt op zichzelf betrouwbaar niet.
Omdat het verklaart hoe verstandige mensen schade komen te bekrachtigen zonder dat iemand zich slecht gedraagt — precies het dramatische probleem dat moderne AI-fictie moet oplossen.
Het is een gevestigde bevinding in mens-factorenonderzoek, bestudeerd in de luchtvaart, geneeskunde en andere geautomatiseerde omgevingen met hoge inzet.
The Unread verschijnt in eerste instantie in het Engels. Vertaalde edities zijn tot nu toe niet aangekondigd.
Lezersregister