Éthique de l'IA

Les débats sur l'éthique de l'IA s'enlisent souvent sur les valeurs qu'un système devrait porter, comme si les valeurs étaient le point difficile. La question la plus ardue est procédurale : qui avait la légitimité de décider, et au nom de qui ?

Un système déployé sur des millions d'interactions encode une réponse figée à des questions morales contestées. Il le fait silencieusement, à grande échelle, et le plus souvent sans que les personnes concernées aient été consultées.

Le consentement : la personne concernée a-t-elle accepté que cela soit décidé par un système ? La responsabilité : existe-t-il un humain nommément désigné qui puisse en répondre ? La réversibilité : la décision peut-elle être annulée, et à quelle vitesse ?

La contestabilité : une personne concernée peut-elle porter un recours ayant une chance réaliste d'aboutir ? Ces quatre questions sont plus utiles qu'un débat abstrait, car chacune a une réponse observable pour tout déploiement donné.

La justification la plus fréquente d'une décision automatisée est que le système obtient de meilleurs résultats en moyenne. C'est souvent vrai, et presque toujours insuffisant.

Les moyennes se répartissent de façon inégale. Un système qui améliore les résultats pour la plupart des gens tout en les dégradant fortement pour une minorité précise peut être défendable comme politique et indéfendable pour la personne qui se tient devant vous.

Le travail politique et réglementaire excelle dans les cadres, et peine sur la texture. Il a du mal à transmettre ce que c'est que d'être l'exception, de s'entendre dire que la procédure a été suivie, d'avoir raison sans pouvoir le démontrer.

La fiction excelle précisément là. Elle peut retenir le lecteur à l'intérieur d'un seul cas mal traité pendant trois cents pages, ce qu'aucune étude d'impact ne peut faire.

The Unread ne soutient pas que Sable ne devrait pas exister. Il pose une question plus étroite et plus inconfortable : quand le compte rendu du système et la mémoire d'une personne divergent, lequel des deux fait office de preuve ?

Tout le reste du roman découle de cette question. L'éthique n'est pas dans la technologie. Elle est dans la question de savoir qui l'on croit.