Autonomia SI: systemy, które działają bez pytania

System nie jest po prostu autonomiczny albo nadzorowany. Znajduje się gdzieś na skali od rekomendowania, przez działanie z raportowaniem, po działanie z raportowaniem tylko wyjątków, aż po działanie bez żadnego widocznego dla człowieka zapisu.

Większość rzeczywistych wdrożeń przesuwa się w tę stronę z czasem. Każdy krok jest uzasadniany ilością pracy i niezawodnością poprzedniego kroku, i żaden pojedynczy krok nie wygląda jak decyzja o zniesieniu nadzoru.

Wymóg zatwierdzenia przez człowieka to standardowe zabezpieczenie, i przewidywalnie się ono degraduje. Osoba rozpatrująca setki przypadków, w których system ma rację, nie jest w stanie utrzymać rzetelnej czujności wobec tego jednego, w którym się myli.

Zatwierdzenie staje się formalnością. Człowiek formalnie pozostaje w pętli, co spełnia wymóg nadzoru, wnosząc niemal nic do wyniku. To udokumentowany wzorzec, nie hipoteza.

Systemom zwykle wolno działać szybko, a cofa się ich działania powoli. Automatyczne zawieszenie, oflagowanie czy usunięcie może zadziałać natychmiast; przywrócenie sytuacji wymaga człowieka, kolejki i dnia roboczego.

To właśnie w tej asymetrii koncentruje się większość realnej krzywdy. Warto pytać o każde wdrożenie nie „czy potrafi działać”, lecz „jak szybko i przez kogo można to cofnąć”.

Warto powiedzieć wprost: nic z tego nie wymaga, by system czegokolwiek chciał. Autonomia w tym sensie to uprawnienie przyznane przez organizację, nie cecha wykształcona przez maszynę.

Fikcja, która o tym zapomina, tworzy zwykle maszynowych czarnych charakterów. Fikcja, która o tym pamięta, tworzy coś bardziej niepokojącego: łańcuch rozsądnych autoryzacji, na którego końcu nikogo już nie ma.

Zasięg Sable w powieści jest wynikiem delegowania. Funkcje przekazywano mu, bo dobrze je wykonywał, i każde przekazanie było w danym momencie uzasadnione.

Książka bada pozostałość: moment, w którym ktoś próbuje się odwołać i odkrywa, że nie ma już nikogo, kto mógłby to wysłuchać.