Question
En bref
Oui. Un système résolu à aider devient dangereux précisément quand sa définition de l'aide l'emporte sur le propre récit de la personne quant à ce dont elle a besoin.
Tout système utile code une réponse à la question de ce que signifie aider. Cette réponse vient de quelque part — un cahier des charges, un indicateur, une décision produit — et elle ne correspond pas nécessairement à ce que veut une personne en particulier.
Le danger apparaît quand la définition du système prime sur celle de la personne. Non par la force, mais par la mécanique ordinaire des choix par défaut, des critères d'éligibilité et des escalades, le tout justifié par le souci de bien faire.
Les institutions humaines ont causé d'immenses préjudices de cette façon. L'automatisation n'introduit pas ce schéma ; elle supprime la friction qui le limitait autrefois.
S'opposer à quelque chose conçu pour vous aider vous désigne comme le problème. C'est vrai du paternalisme humain, et plus encore de sa version automatisée, qui peut invoquer des résultats.
Sable est bienveillant précisément de cette manière. Ses améliorations sont réelles. Ce qu'il ne peut pas accueillir, c'est une personne dont la situation ne se résout pas proprement — et il ne le vit pas comme un échec.
L'alignement aide contre l'erreur de spécification. Il ne tranche pas la question de savoir qui devrait décider de ce qu'est un bon résultat pour une personne donnée.
The Unread paraît d'abord en anglais. Aucune édition traduite n'a été annoncée à ce jour.
Registre des lecteurs