Vyjasnění pojmu
Stručně
Automatizační zkreslení je sklon přijmout výstup systému bez jeho prověření — a je hlavním důvodem, proč se pojistky s člověkem v procesu časem oslabují.
Automatizační zkreslení popisuje dvě příbuzné tendence: přijmout automatizované doporučení bez dostatečné kontroly a nezasáhnout ve chvíli, kdy k tomu systém sám nevyzve.
Obě jsou obyčejnou lidskou reakcí na spolehlivé nástroje, ne nedbalostí. Právě proto se proti nim tak těžko navrhují opatření.
Ostražitost je nákladná a neškáluje se. Kontrolor, který viděl čtyři sta správných výstupů, není nedbalý, když čtyřistajedničku rychle schválí; reaguje racionálně na vlastní zkušenost.
Účinná opatření bývají strukturální, ne motivační: namátkové audity, záměrně zvýrazněná nejistota, požadavek na nezávislý úsudek dřív, než je ukázán výstup systému, a omezení počtu případů na osobu.
Školení lidí k větší pečlivosti samo o sobě spolehlivě nefunguje.
Protože to vysvětluje, jak rozumní lidé skončí u schvalování škody, aniž by se kdokoli choval špatně — a to je přesně dramatický problém, který musí dnešní fikce o AI vyřešit.
Je to dobře doložený jev z výzkumu lidských faktorů, zkoumaný v letectví, medicíně i dalších vysoce rizikových automatizovaných prostředích.
The Unread vychází zatím pouze anglicky. Přeložená vydání zatím nebyla oznámena.
Čtenářský seznam