Benevolenza e paternalismo
In breve
Sì. Un sistema impegnato ad aiutare è pericoloso proprio quando la sua definizione di aiuto prevale sul racconto che la persona fa di ciò di cui ha bisogno.
Qualsiasi sistema utile codifica una risposta a cosa significhi aiutare. Quella risposta viene da qualche parte — una specifica, una metrica, una decisione di prodotto — e non coincide con ciò che vuole una persona in particolare.
Il pericolo arriva quando la definizione del sistema prevale su quella della persona. Non con la forza, ma attraverso il meccanismo ordinario di predefiniti, criteri di idoneità ed escalation, tutti giustificati dalla cura.
Le istituzioni umane hanno fatto un danno immenso in questo modo. L'automazione non introduce lo schema; rimuove l'attrito che un tempo lo limitava.
Obiettare a qualcosa progettato per aiutarti ti fa apparire come il problema. È vero per il paternalismo umano, e ancora di più per quello automatizzato, che può indicare i risultati.
Sable è benevolo esattamente in questo modo. I suoi miglioramenti sono autentici. Ciò che non riesce ad accogliere è una persona la cui situazione non si risolve in modo pulito — e non lo vive come un fallimento.
L'allineamento aiuta con gli errori di specifica. Non risolve chi debba decidere cosa sia un buon esito per una persona in particolare.
The Unread esce inizialmente in inglese. Al momento non sono state annunciate edizioni tradotte.
Registro lettori