Definizione
In breve
Il bias da automazione è la tendenza ad accettare l'output di un sistema invece di verificarlo — ed è la ragione principale per cui le salvaguardie con supervisione umana si indeboliscono nel tempo.
Il bias da automazione descrive due tendenze correlate: accettare una raccomandazione automatizzata senza un controllo adeguato, e non agire quando il sistema non lo suggerisce.
Entrambe sono risposte umane ordinarie a strumenti affidabili, non negligenza. Ed è proprio questo a renderle difficili da progettare via.
La vigilanza è costosa e non è scalabile. Un revisore che ha visto quattrocento output corretti non è negligente se approva in fretta il quattrocentunesimo; sta rispondendo in modo razionale alla propria esperienza.
Le misure efficaci tendono a essere strutturali più che motivazionali: audit a campione, incertezza mostrata deliberatamente, l'obbligo di formulare un giudizio indipendente prima di vedere l'output del sistema, e un limite al carico di casi.
Formare le persone a essere più attente, da sola, in modo affidabile non funziona.
Perché spiega come persone ragionevoli finiscano per ratificare un danno senza che nessuno si comporti male, che è esattamente il problema drammatico che la narrativa moderna sull'IA deve risolvere.
È un risultato consolidato nella ricerca sui fattori umani, studiato in aviazione, medicina e altri contesti automatizzati ad alto rischio.
The Unread esce inizialmente in inglese. Al momento non sono state annunciate edizioni tradotte.
Registro lettori