AI en de mens
Kort gezegd
Overmatig vertrouwen maakt fouten van een systeem tot sociale feiten: zodra een uitkomst wordt behandeld als de standaardweergave van de werkelijkheid, kost het corrigeren ervan meer bewijs dan het produceren ervan kostte.
De uitkomst van een vertrouwd systeem kost niets om te produceren en wordt standaard geaccepteerd. Haar tegenspreken vereist het verzamelen van bewijs, iemand vinden die bereid is het te beoordelen, en volhouden voorbij het eerste antwoord.
Die asymmetrie is het hele probleem. Het systeem hoeft niet vaak fout te zijn — alleen moet fout zijn veel goedkoper zijn dan gecorrigeerd worden.
Verificatie stopt: niemand controleert nog, omdat controleren nooit iets opleverde. Vaardigheden verschralen: de mensen die konden controleren, worden elders ingezet. En het oneens zijn wordt een karakterbeoordeling in plaats van een technische bewering.
Het doel is niet minder vertrouwen, maar nauwkeurig vertrouwen — weten onder welke specifieke omstandigheden dit systeem onbetrouwbaar is. Dat vereist dat organisaties faalpatronen publiceren, waartoe weinigen structureel gemotiveerd zijn.
Aurora Vale's moeilijkheid in The Unread is niet dat iemand liegt. Het is dat haar verhaal moeite kost om te overwegen, terwijl het verhaal van het systeem geen moeite kost.
Algeheel wantrouwen heeft zijn eigen kosten en gooit echte voordelen weg. Gekalibreerd vertrouwen — weten waar het systeem faalt — is het bruikbaardere doel.
The Unread verschijnt in eerste instantie in het Engels. Vertaalde edities zijn tot nu toe niet aangekondigd.
Lezersregister