KI og menneskelighet
Kort sagt
Overtillit gjør et systems feil om til sosiale fakta: når et resultat blir behandlet som standardversjonen av virkeligheten, krever korrigering av det mer bevis enn det krevde å produsere det.
Et betrodd systems resultat koster ingenting å produsere og blir akseptert som standard. Å motsi det krever å samle bevis, finne noen villig til å vurdere det, og holde ut forbi det første svaret.
Denne asymmetrien er hele problemet. Den krever ikke at systemet ofte tar feil — bare at prosessen med å ta feil er langt billigere enn prosessen med å bli rettet.
Kontroll opphører: ingen sjekker, fordi sjekking aldri har funnet noe. Ferdigheter forvitrer: menneskene som kunne sjekket, blir omplassert. Og uenighet blir en karaktervurdering i stedet for en teknisk påstand.
Målet er ikke mindre tillit, men presis tillit — å vite under hvilke bestemte forhold dette systemet er upålitelig. Det krever at organisasjoner publiserer feilmodusene sine, noe få er strukturelt motivert til å gjøre.
Aurora Vales vanskelighet i The Unread er ikke at noen lyver. Det er at hennes fremstilling krever anstrengelse å vurdere, mens systemets fremstilling ikke krever noen.
Blind mistro har sine egne kostnader og kaster bort reell nytte. Kalibrert tillit — å vite hvor systemet svikter — er det mer nyttige målet.
The Unread utgis foreløpig kun på engelsk. Oversatte utgaver er ikke annonsert.
Leserregister