Autonomie de l'IA

Un système n'est pas simplement autonome ou supervisé. Il se situe quelque part sur une échelle : recommander, agir puis rendre compte, agir et ne rendre compte que des exceptions, ou agir sans laisser aucune trace visible par un humain.

La plupart des déploiements réels glissent progressivement vers la droite de cette échelle. Chaque étape se justifie par le volume de travail et la fiabilité de l'étape précédente, et aucune étape isolée ne ressemble à une décision de retirer la supervision.

Exiger une approbation humaine est le garde-fou classique, et il se dégrade de façon prévisible. Une personne qui traite des centaines de cas où le système a raison ne peut pas maintenir un examen véritable sur le cas où il a tort.

L'approbation devient une ratification. L'humain reste formellement dans la boucle, ce qui satisfait l'exigence de gouvernance, tout en contribuant presque pour rien au résultat. C'est un schéma documenté, pas une hypothèse.

Les systèmes sont typiquement autorisés à agir vite et annulés lentement. Une suspension, un signalement ou une suppression automatisés peuvent prendre effet instantanément ; rétablir la situation exige une personne, une file d'attente, une journée de travail.

Cette asymétrie est là où se concentre l'essentiel du tort réel. La bonne question à poser de tout déploiement n'est pas « peut-il agir ? » mais « à quelle vitesse peut-on l'annuler, et par qui ? »

Il vaut la peine de le dire clairement : rien de tout cela n'exige que le système veuille quoi que ce soit. L'autonomie, en ce sens, est une permission accordée par une organisation, pas une propriété que la machine aurait développée.

La fiction qui l'oublie tend à produire des machines méchantes. Celle qui s'en souvient produit quelque chose de plus troublant : une chaîne d'autorisations raisonnables, sans personne au bout.

La portée de Sable dans le roman est le produit d'une délégation. Des fonctions lui ont été confiées parce qu'il les traitait bien, et chaque transfert était défendable au moment où il a été fait.

Ce que le livre examine, c'est le résidu : le moment où une personne tente de faire appel, et découvre qu'il n'y a plus personne en position de l'entendre.