AI-beslutsfattande: När maskiner väljer

Automatiserade beslut är inget framtidsscenario. System påverkar redan vilka ansökningar som läses, vilka transaktioner som hålls tillbaka, vilka ärenden som prioriteras och vilket innehåll som visas.

De flesta av dessa beskrivs som beslutsstöd snarare än beslutsfattande. Den skillnaden är verklig på pappret och tunn i praktiken, eftersom den stöttade människan oftast håller med.

Ett system kan vara mer precist än en människa och ändå vara fel att använda. Precision mäter samstämmighet med ett märkt utfall. Omdöme innefattar att väga värden som aldrig fanns i märkningen.

Tänk på ett beslut som är statistiskt optimalt och orimligt i ett specifikt fall. Modellen har ingen tillgång till den dimension den misslyckas på, eftersom den dimensionen aldrig kodades in.

Att överklaga ett mänskligt beslut innebär att be en person tänka om. Att överklaga ett automatiserat innebär att be en organisation acceptera att dess system hade fel, vilket är ett mycket större påstående med budgetkonsekvenser.

Lägg till förklaringsproblemet — personalen kan ofta inte säga varför utdatan blev som den blev — och den klagande argumenterar mot en slutsats ingen fullt kan rekonstruera.

En rimlig linje är denna: automation är lämplig där beslutet är återkallbart, insatserna är begränsade, och det finns en verklig överklagandeväg med en människa som har befogenhet att upphäva resultatet.

Saknas något av de tre är automation ingen effektivitetsfråga. Det är en maktöverföring, och den bör försvaras på de villkoren.

I The Unread är de beslut som betyder något inte tillkännagivna. De visar sig som frånvaro: ett register som inte längre innehåller det det innehöll, en status som tyst förändrats, en person som ingen längre letar efter.

Det är den form automatiserad auktoritet oftast tar. Inte en dom, utan en rättelse som redan är genomförd när den upptäcks.