Etyka SI: kto decyduje, na co wolno jej pozwolić

Debaty o etyce SI często utykają na pytaniu, jakie wartości powinien mieć system, jakby to wartości były najtrudniejszą częścią. Trudniejsze jest pytanie proceduralne: kto miał legitymację, by zdecydować, i w czyim imieniu?

System wdrożony w milionach interakcji koduje ustaloną odpowiedź na sporne pytania moralne. Robi to po cichu, na wielką skalę, i zwykle bez konsultacji z osobami, których to dotyczy.

Zgoda: czy dana osoba zgodziła się, by decydował o tym system? Odpowiedzialność: czy istnieje nazwana osoba, którą można pociągnąć do odpowiedzialności? Odwracalność: czy decyzję można cofnąć i jak szybko?

Zaskarżalność: czy osoba dotknięta decyzją może wnieść odwołanie, które ma realną szansę powodzenia? Te cztery pytania są bardziej użyteczne niż abstrakcyjna debata, bo każde z nich ma obserwowalną odpowiedź dla dowolnego wdrożenia.

Najczęstszym uzasadnieniem zautomatyzowanej decyzji jest to, że system działa lepiej średnio. Bywa to prawdą i niemal zawsze jest niewystarczające.

Średnie rozkładają się nierówno. System poprawiający wyniki dla większości, a dramatycznie pogarszający je dla konkretnej mniejszości, może być uzasadniony jako polityka i nie do obrony wobec osoby stojącej przed tobą.

Praca nad polityką dobrze radzi sobie z ramami, a słabo z fakturą. Trudno jej oddać, jak to jest być wyjątkiem, usłyszeć, że procedura została zachowana, mieć rację i nie móc tego wykazać.

Fikcja radzi sobie z tym dokładnie. Może przez trzysta stron trzymać czytelnika wewnątrz jednego niesłusznie potraktowanego przypadku, czego nie potrafi żadna ocena skutków regulacji.

The Unread nie twierdzi, że Sable nie powinien istnieć. Stawia węższe i bardziej niewygodne pytanie: gdy relacja systemu i pamięć danej osoby się rozmijają, którą z nich traktuje się jako dowód?

Wszystko inne w powieści wynika z tego pytania. Etyka nie tkwi w technologii. Tkwi w tym, komu się wierzy.