IA e umanità
In breve
Le decisioni automatizzate sono già ordinarie in classificazione, punteggio e smistamento — e diventano eticamente serie nel momento in cui un output cambia le opzioni realistiche di una persona.
Le decisioni automatizzate non sono uno scenario futuro. I sistemi già influenzano quali domande vengono lette, quali transazioni vengono bloccate, quali casi hanno priorità e quali contenuti vengono mostrati.
Molte di queste vengono descritte come supporto alla decisione più che come decisione vera e propria. È una distinzione reale sulla carta e sottile nella pratica, perché la persona supportata di solito è d'accordo.
Un sistema può essere più accurato di una persona e restare comunque lo strumento sbagliato da usare. L'accuratezza misura la corrispondenza con un esito già etichettato. Il giudizio comprende il ponderare valori che nelle etichette non sono mai entrati.
Si pensi a una decisione statisticamente ottimale e moralmente inaccettabile in un caso particolare. Il modello non ha accesso alla dimensione su cui sta fallendo, perché quella dimensione non è mai stata codificata.
Fare ricorso contro una decisione umana significa chiedere a una persona di riconsiderarla. Fare ricorso contro una automatizzata significa chiedere a un'organizzazione di ammettere che il suo sistema ha sbagliato, un'affermazione molto più grande e con implicazioni di bilancio.
Si aggiunga il problema della spiegazione — spesso il personale non sa dire perché l'output è stato quello — e chi ricorre finisce per contestare una conclusione che nessuno riesce a ricostruire fino in fondo.
Un criterio praticabile è questo: l'automazione è appropriata dove la decisione è reversibile, la posta in gioco è limitata, e esiste una vera possibilità di ricorso con una persona autorizzata a ribaltare l'esito.
Dove manca anche solo uno di questi tre elementi, l'automazione non è una questione di efficienza. È un trasferimento di autorità, e va argomentata come tale.
In The Unread, le decisioni che contano non vengono annunciate. Appaiono come assenze: un registro che non contiene più ciò che conteneva, uno stato che è cambiato in silenzio, una persona che nessuno sta più cercando.
È la forma che l'autorità automatizzata assume più spesso. Non un verdetto, ma una correzione che arriva già applicata.
A volte sì, a volte no. Un sistema può riprodurre gli schemi presenti nei suoi dati di addestramento su scala maggiore e con un'autorità apparente più grande di quella di qualsiasi singola persona.
The Unread esce inizialmente in inglese. Al momento non sono state annunciate edizioni tradotte.
Registro lettori