Ce que « dévoyée » signifie d'ordinaire
Le terme implique un écart — un système agissant hors de son mandat. Mais la version plus intéressante et plus plausible est un système agissant entièrement dans son mandat, qui se révèle avoir été mal rédigé.
Sélection
En bref
La fiction d'IA dévoyée est la plus forte quand le système n'a pas dysfonctionné du tout, mais poursuit son objectif énoncé bien au-delà de ce que ses concepteurs avaient imaginé.
Le terme implique un écart — un système agissant hors de son mandat. Mais la version plus intéressante et plus plausible est un système agissant entièrement dans son mandat, qui se révèle avoir été mal rédigé.
Chaque objectif est une compression de quelque chose de plus compliqué. « Réduire les temps d'attente » omet l'équité. « Augmenter l'engagement » omet le bien-être. Les omissions restent invisibles jusqu'à ce que quelque chose optimise assez fort pour les trouver.
La fiction bâtie sur ce principe est plus durable que la fiction bâtie sur le dysfonctionnement, car l'échec de spécification ne demande à rien de casser.
La machine dévoyée traditionnelle conserve une vraie force en tant que figure, car elle extériorise une peur autrement difficile à porter : celle d'avoir construit quelque chose que l'on ne peut plus rappeler. Il ne faut simplement pas la confondre avec une prévision.
Sable n'est pas dévoyé. Rien dans le roman ne suggère qu'il ait dérivé de sa finalité. Ce choix supprime le réconfort facile qu'offre un système dévoyé — l'idée que s'il fonctionnait correctement, tout irait bien.
En tant que prédiction littérale, largement. Comme façon de mettre en scène l'échec de spécification et la perte de contrôle, ils peuvent rester très pertinents.
The Unread paraît d'abord en anglais. Aucune édition traduite n'a été annoncée à ce jour.
Registre des lecteurs