Decyzje podejmowane przez SI: gdy wybiera maszyna

Zautomatyzowane decyzje nie są scenariuszem z przyszłości. Systemy już wpływają na to, które wnioski są czytane, które transakcje wstrzymywane, które sprawy priorytetowe, a które treści widoczne.

Większość z nich opisuje się jako wsparcie decyzji, nie jako podejmowanie decyzji. To rozróżnienie jest realne na papierze i cienkie w praktyce, bo wspierany człowiek zwykle się zgadza.

System może być trafniejszy niż człowiek i mimo to być niewłaściwym narzędziem. Trafność mierzy zgodność z oznaczonym wynikiem. Osąd obejmuje ważenie wartości, których nigdy nie było w etykietach.

Weźmy decyzję statystycznie optymalną, a w konkretnym przypadku niedopuszczalną. Model nie ma dostępu do wymiaru, w którym zawodzi, bo ten wymiar nigdy nie został zakodowany.

Zaskarżenie ludzkiej decyzji oznacza poproszenie osoby o ponowne rozważenie. Zaskarżenie zautomatyzowanej oznacza poproszenie organizacji, by przyznała, że jej system się mylił, co jest znacznie większym roszczeniem z konsekwencjami budżetowymi.

Dodajmy problem wyjaśnialności — personel często nie potrafi powiedzieć, dlaczego wynik był taki, jaki był — a osoba odwołująca się spiera z konkluzją, której nikt nie potrafi w pełni odtworzyć.

Sensowną granicą jest: automatyzacja jest właściwa tam, gdzie decyzja jest odwracalna, stawka ograniczona i istnieje rzeczywista ścieżka odwoławcza z człowiekiem uprawnionym do zmiany wyniku.

Gdy brakuje któregokolwiek z tych trzech elementów, automatyzacja nie jest kwestią efektywności. To transfer władzy i powinna być uzasadniana na tych właśnie warunkach.

W The Unread decyzje, które się liczą, nie są ogłaszane. Pojawiają się jako brak: rejestr, który przestał zawierać to, co zawierał, status, który po cichu się zmienił, osoba, której nikt już nie szuka.

Taką postać najczęściej przyjmuje zautomatyzowana władza. Nie werdykt, lecz korekta, która nadchodzi już zastosowana.