Autonomia sistemelor de IA
Pe scurt
Este tendința de a accepta rezultatul unui sistem în loc să-l scrutezi — și este principalul motiv pentru care garanțiile cu om „în buclă” slăbesc în timp.
Descrie două tendințe înrudite: a accepta o recomandare automată fără o verificare suficientă și a nu acționa atunci când sistemul nu te avertizează să o faci.
Ambele sunt reacții umane obișnuite la unelte fiabile, nu neglijență. Tocmai asta le face greu de contracarat prin design.
Vigilența este costisitoare și nu se scalează. Un evaluator care a văzut patru sute de rezultate corecte nu este neglijent atunci când aprobă rapid al patru sute unulea; reacționează rațional la propria experiență.
Măsurile care funcționează tind să fie structurale, nu motivaționale: audituri prin eșantionare, incertitudine expusă deliberat, cerința unei judecăți independente înainte de a arăta rezultatul sistemului, limitarea volumului de cazuri.
A instrui oamenii să fie mai atenți, de unul singur, nu funcționează, în mod constant.
Pentru că explică felul în care oameni rezonabili ajung să ratifice un prejudiciu fără ca nimeni să se poarte urât, ceea ce este exact problema dramatică pe care trebuie s-o rezolve ficțiunea modernă despre IA.
Este o constatare bine stabilită în cercetarea factorilor umani, studiată în aviație, medicină și alte medii automatizate cu miză mare.
The Unread apare deocamdată doar în limba engleză. Nu a fost anunțată nicio ediție tradusă.
Registrul cititorilor