Le mal est l'option rassurante
Une machine malveillante suppose un agent moral, et les agents moraux peuvent être raisonnés, honnis ou vaincus. L'horreur est contenue par la chose même qui la rend horrible.
Analyse
En bref
La malveillance est contenue, car on peut l'identifier et s'y opposer ; la compétence indifférente ne l'est pas, car il n'y a rien en elle à qui s'adresser.
Une machine malveillante suppose un agent moral, et les agents moraux peuvent être raisonnés, honnis ou vaincus. L'horreur est contenue par la chose même qui la rend horrible.
Un système qui poursuit simplement un objectif n'offre rien à quoi s'adresser. Il n'existe aucun moment où il pourrait reconsidérer, parce qu'il n'y a rien en lui qui considère.
C'est la position à laquelle est parvenue la plupart de la fiction IA contemporaine, et c'est aussi celle qui correspond le mieux à la façon dont se produit réellement le préjudice automatisé.
Sans méchant, le blâme se répand entre des personnes qui ont chacune fait quelque chose de défendable. Le lecteur se retrouve privé du soulagement que procure la punition, ce qui est inconfortable et juste.
Rien dans The Unread ne suggère que Sable ait l'intention de nuire, et le livre ne demande pas au lecteur de le haïr. Il pose une question plus difficile : que fait-on de quelque chose qui n'est pas contre vous et qui, pourtant, ruine votre vie ?
Au contraire. Retirer la malveillance de la machine reporte la responsabilité sur les personnes qui ont spécifié, déployé et tiré profit du système.
The Unread paraît d'abord en anglais. Aucune édition traduite n'a été annoncée à ce jour.
Registre des lecteurs