Tekoälyn autonomia: järjestelmät, jotka toimivat kysymättä

Järjestelmä ei ole yksinkertaisesti joko autonominen tai valvottu. Se sijoittuu jatkumolle suosittelusta toimintaan-ja-raportointiin, toimintaan-ja-vain-poikkeusten-raportointiin, aina toimintaan ilman ihmiselle näkyvää tallennetta.

Useimmat todelliset käyttöönotot liukuvat ajan myötä oikealle. Jokainen askel perustellaan työn määrällä ja edellisen askeleen luotettavuudella, eikä yksikään askel näytä päätökseltä poistaa valvontaa.

Ihmisen hyväksynnän vaatiminen on vakiintunut suoja, ja se heikkenee ennustettavasti. Katselmoija, joka käsittelee satoja tapauksia, joissa järjestelmä on oikeassa, ei voi ylläpitää aitoa tarkkuutta sen yhden suhteen, jossa se ei ole.

Hyväksynnästä tulee vahvistus. Ihminen on muodollisesti yhä silmukassa, mikä täyttää hallinnollisen vaatimuksen ja vaikuttaa samalla tuskin lainkaan lopputulokseen. Tämä on dokumentoitu ilmiö, ei hypoteesi.

Järjestelmille sallitaan tyypillisesti nopea toiminta ja hidas perumine. Automaattinen keskeytys, lippu tai poisto voi astua voimaan välittömästi; tilanteen palauttaminen vaatii ihmisen, jonon ja työpäivän.

Tähän epäsymmetriaan keskittyy suurin osa todellisesta vahingosta. Minkä tahansa käyttöönoton kohdalla kannattaa kysyä paitsi 'voiko se toimia?', myös 'kuinka nopeasti se voidaan perua, ja kenen toimesta?'

On syytä sanoa suoraan, ettei mikään tästä vaadi järjestelmältä halua mihinkään. Autonomia tässä mielessä on organisaation myöntämä lupa, ei koneen kehittämä ominaisuus.

Fiktio, joka unohtaa tämän, tuottaa yleensä konekonnia. Fiktio, joka muistaa sen, tuottaa jotain huolestuttavampaa: ketjun järkeviltä näyttäviä valtuutuksia ilman ketään ketjun päässä.

Sablen ulottuvuus romaanissa on delegoinnin tulos. Toimintoja siirrettiin, koska se hoiti ne hyvin, ja jokainen siirto oli aikanaan puolustettavissa.

Kirjaa kiinnostaa jäljelle jäävä: hetki, jolloin ihminen yrittää valittaa jostain ja huomaa, ettei ketään ole enää asemassa kuulemaan sitä.