Autonomia dell'IA: sistemi che agiscono senza chiedere

Un sistema non è semplicemente autonomo oppure supervisionato. Si colloca lungo una scala che va dal suggerire, all'agire-e-riferire, all'agire-riferendo-solo-le-eccezioni, fino all'agire senza alcuna traccia visibile a un essere umano.

La maggior parte degli impieghi reali scivola nel tempo verso l'estremo autonomo. Ogni passaggio è giustificato dal volume di lavoro e dall'affidabilità del passaggio precedente, e nessun singolo passaggio appare come una decisione di rimuovere la supervisione.

Richiedere l'approvazione umana è la garanzia standard, e si deteriora in modo prevedibile. Chi verifica centinaia di casi in cui il sistema ha ragione non può sostenere un controllo genuino sull'unico caso in cui sbaglia.

L'approvazione diventa ratifica. La persona resta formalmente nel processo, il che soddisfa il requisito di governance, ma contribuisce quasi a nulla all'esito. È un modello documentato, non un'ipotesi.

Ai sistemi è tipicamente permesso di agire rapidamente e vengono revocati lentamente. Una sospensione, una segnalazione o una rimozione automatizzata possono avere effetto immediato; ripristinare la situazione richiede una persona, una coda e una giornata lavorativa.

È in quell'asimmetria che si concentra gran parte del danno reale. La domanda giusta da porre su qualsiasi impiego non è 'può agire?' ma 'quanto in fretta può essere annullato, e da chi?'

Vale la pena dirlo chiaramente: nulla di tutto questo richiede che il sistema voglia qualcosa. L'autonomia in questo senso è un permesso concesso da un'organizzazione, non una proprietà che la macchina ha sviluppato.

La narrativa che lo dimentica tende a produrre macchine-cattivo. La narrativa che lo ricorda produce qualcosa di più inquietante: una catena di autorizzazioni ragionevoli senza nessuno alla fine.

La portata di Sable nel romanzo è il frutto di una delega. Alcune funzioni gli sono state affidate perché le gestiva bene, e ogni affidamento era difendibile al momento in cui è stato fatto.

Ciò che il libro esamina è il residuo: il momento in cui una persona prova a presentare ricorso e scopre che non c'è più nessuno nella posizione di ascoltarlo.