Tekoäly & Ihmiskunta
Lyhyesti
Automaatiovinouma on taipumus hyväksyä järjestelmän tuotos sen tarkastelun sijaan – ja se on pääsyy siihen, miksi ihmisen valvomat turvatoimet heikkenevät ajan myötä.
Automaatiovinouma kuvaa kahta toisiinsa liittyvää taipumusta: automaattisen suosituksen hyväksymistä riittämättömällä tarkistuksella ja toimimatta jättämistä, kun järjestelmä ei kehota siihen.
Molemmat ovat tavallisia inhimillisiä reaktioita luotettaviin työkaluihin, eivät huolimattomuutta. Juuri tämä tekee niistä vaikeita suunnitella pois.
Valppaus on kallista eikä skaalaudu. Tarkastaja, joka on nähnyt neljäsataa oikeaa tulostetta, ei ole huolimaton, kun hän hyväksyy neljänsadanensimmäisen nopeasti; hän reagoi rationaalisesti kokemukseensa.
Toimivat toimenpiteet ovat yleensä rakenteellisia pikemminkin kuin motivoivia: otanta-auditoinnit, tarkoituksellisesti esiin nostettu epävarmuus, riippumattoman arvion vaatiminen ennen järjestelmän tulosteen näyttämistä ja tapausten määrän rajoittaminen.
Ihmisten kouluttaminen olemaan varovaisempia, yksinään, ei luotettavasti toimi.
Koska se selittää, miten järkevät ihmiset päätyvät vahvistamaan haittaa ilman, että kukaan käyttäytyy huonosti, mikä on juuri se dramaattinen ongelma, jonka modernin tekoälyfiktion on ratkaistava.
Se on vakiintunut havainto ihmisen tekijöiden tutkimuksessa, jota on tutkittu ilmailussa, lääketieteessä ja muissa korkean panoksen automatisoiduissa ympäristöissä.
The Unread ilmestyy aluksi englanniksi. Käännöksiä ei ole toistaiseksi ilmoitettu.
Lukijarekisteri
Tämä artikkeli on osa THE UNREAD -sarjaa, joka tutkii tekoälyn ja ihmiskunnan monimutkaisia suhteita. THE UNREAD on tällä hetkellä saatavilla englanniksi, eikä käännetyistä painoksista ole ilmoitettu.