KI-etikk: Hvem bestemmer hva et system får gjøre?

Debatter om KI-etikk stopper ofte opp ved hvilke verdier et system bør ha, som om verdiene var det vanskelige. Det vanskeligere spørsmålet er prosessuelt: hvem hadde rett til å bestemme, og på vegne av hvem?

Et system som brukes i millioner av interaksjoner, kodifiserer et fastsatt svar på omstridte moralske spørsmål. Det gjør det stille, i stor skala, og som regel uten at de berørte er blitt rådspurt.

Samtykke: godtok den berørte personen at dette skulle avgjøres av et system? Ansvar: finnes det et navngitt menneske som kan holdes ansvarlig? Reversibilitet: kan beslutningen omgjøres, og hvor raskt?

Bestridbarhet: kan en berørt person reise en innsigelse som har en reell sjanse til å nå frem? Disse fire er mer nyttige enn abstrakt debatt, fordi hver har et observerbart svar for enhver konkret bruk.

Den vanligste begrunnelsen for en automatisert beslutning er at systemet presterer bedre i gjennomsnitt. Dette er ofte sant og nesten alltid utilstrekkelig.

Gjennomsnitt fordeler seg ujevnt. Et system som forbedrer utfall for de fleste mens det gjør dem dramatisk verre for et bestemt mindretall, kan være forsvarlig som politikk og uforsvarlig for personen som står foran deg.

Politikkarbeid er godt på rammeverk og dårlig på tekstur. Det sliter med å formidle hvordan det føles å være unntaket, å bli fortalt at prosessen ble fulgt, å ha rett uten å kunne bevise det.

Fiksjon er god på nettopp det. Den kan holde leseren inne i ett feilhåndtert tilfelle gjennom tre hundre sider, noe ingen konsekvensutredning kan gjøre.

The Unread argumenterer ikke for at Sable ikke burde finnes. Den stiller et snevrere og mer ubehagelig spørsmål: når systemets fremstilling og en persons hukommelse ikke stemmer overens, hvilken av dem regnes som bevis?

Alt annet i romanen følger av det. Etikken ligger ikke i teknologien. Den ligger i hvem som blir trodd.