KI-beslutninger: Når maskiner velger

Automatiserte beslutninger er ikke et fremtidsscenario. Systemer påvirker allerede hvilke søknader som blir lest, hvilke transaksjoner som holdes tilbake, hvilke saker som prioriteres og hvilket innhold som vises.

De fleste av disse beskrives som beslutningsstøtte snarere enn beslutningstaking. Det skillet er reelt på papiret og tynt i praksis, fordi mennesket som får støtten, som regel er enig.

Et system kan være mer nøyaktig enn en person og likevel være feil verktøy å bruke. Nøyaktighet måler samsvar med et merket utfall. Dømmekraft omfatter å veie verdier som aldri var med i merkingen.

Tenk deg en beslutning som er statistisk optimal og uforsvarlig i et bestemt tilfelle. Modellen har ingen tilgang til dimensjonen den svikter på, fordi den dimensjonen aldri ble kodet inn.

Å klage på en menneskelig beslutning betyr å be en person revurdere. Å klage på en automatisert en betyr å be en organisasjon godta at systemet dens tok feil, som er et langt større krav med budsjettmessige følger.

Legg til forklaringsproblemet — ansatte kan ofte ikke si hvorfor resultatet ble som det ble — og klageren argumenterer mot en konklusjon ingen fullt ut kan rekonstruere.

En brukbar grense er denne: automatisering passer der beslutningen er reversibel, innsatsen er avgrenset, og det finnes en reell klagevei med et menneske som har fullmakt til å omgjøre resultatet.

Der ett av disse tre mangler, er automatisering ikke et effektivitetsspørsmål. Det er en overføring av myndighet, og bør argumenteres for på de premissene.

I The Unread annonseres ikke beslutningene som betyr noe. De viser seg som fravær: et register som ikke lenger inneholder det det inneholdt, en status som stille har endret seg, en person ingen leter etter.

Det er den formen automatisert makt oftest tar. Ikke en dom, men en korrigering som kommer allerede iverksatt.