L'IA può decidere senza il via libera di una persona?

Tre condizioni rendono ragionevole l'automazione senza supervisione: l'azione può essere annullata rapidamente, il peggior esito realistico è limitato, e una persona coinvolta può rivolgersi a qualcuno con l'autorità di ribaltarlo.

Dove tutte e tre valgono, richiedere l'approvazione di solito aggiunge solo ritardo senza aggiungere sicurezza. Dove anche una sola manca, il requisito dell'approvazione sta svolgendo un lavoro reale, e rimuoverlo è un trasferimento di autorità, non un risparmio di efficienza.

Sostenere che l'IA non dovrebbe mai decidere da sola ignora i milioni di decisioni a basso rischio in cui la revisione umana è pura scenografia. Sostenere che dovrebbe sempre farlo ignora i casi in cui un esito istantaneo e non spiegato pone fine al reddito o alle cure di qualcuno.

Un revisore che elabora centinaia di output corretti smette di verificare e comincia a confermare. La casella della governance viene spuntata e la salvaguardia ha smesso silenziosamente di funzionare — uno schema ben documentato, non un'ipotesi.

Se una salvaguardia dipende dalla vigilanza umana sostenuta su grandi volumi, va presunta fallimentare finché non si dimostra il contrario.

In The Unread, nulla viene mai presentato come una decisione. I cambiamenti compaiono come lo stato del registro, già stabiliti. Non c'è alcuna approvazione da contestare perché non c'è alcun momento a cui chiunque possa indicare.