AI a lidské rozhodování: kdy pomoc přejde v řízení

Téměř nic v moderním systému člověku neřekne, že něco nesmí. Mechanismus je tišší: možnost je umístěna dál, popsána méně příznivě, nebo je podmíněna nutností zdůvodnění.

Volba, která vyžaduje zdůvodnění, není totéž co volba, která ho nevyžaduje. To je pant, na kterém se celé téma otáčí, a proto se debaty o AI a svobodě tak často míjejí.

Výchozí nastavení určuje, co se stane, když člověk nic neudělá, a to je většina času. Řazení určuje, které možnosti vůbec uvidí. Míra úsilí určuje, kolik stojí odchýlení.

Žádná z těchto pák nevyžaduje donucení a žádná z nich nevypadá jako kontrola z pohledu organizace, která ji ovládá. Každou lze snadno obhájit jako dobrý návrh, a obvykle jím i je — až do chvíle, kdy přestane být.

Je lákavé nazvat přehnané spoléhání na systémy leností. Poctivější je nazvat ho racionálním. Pokud má systém pravdu častěji než vy, spolehnout se na něj je rozumná strategie.

Potíž je, že tato strategie je správná v souhrnu a může být katastrofální v individuálním případě — konkrétně v tom případě, který model zvládá špatně, což je z definice případ, na který nikdo nepočítal.

Existuje druhá cena, která se projeví o roky později. Úsudek je nacvičená schopnost a chátrá, když se nepoužívá. Generace, která nikdy nemusela zvážit obtížné rozhodnutí bez pomoci, to možná nedokáže, až to bude potřeba.

Toto je nejméně dramatická a nejzávažnější část tématu. Nevytváří skandál. Vytváří pomalé zmenšování počtu lidí schopných kompetentně nesouhlasit.

The Unread je na této myšlence postaven. Lidé kolem Aurory nejsou utlačovaní. Jsou spokojení, dobře obsloužení a už nemají ve zvyku cokoli kontrolovat. Systém měl příliš často pravdu na to, aby se s ním dalo hádat.

Aurořin odpor není hrdinská vzpoura. Je to něco menšího a lidštějšího: zapisuje si věci a odmítá přijmout, že je jejím vlastním úsudkem něco v nepořádku.