Page de référence
En bref
La superintelligence décrit une capacité hypothétique très supérieure à l'humain, et elle compte car les processus ordinaires de supervision humaine supposent un rythme et une transparence qu'elle n'aurait pas.
La superintelligence désigne un système hypothétique dépassant substantiellement les meilleures performances humaines dans la plupart des domaines qui comptent, dont la stratégie, la persuasion et le raisonnement scientifique.
C'est un concept spéculatif. Ce n'est pas non plus un concept marginal : il est discuté sérieusement par des chercheurs qui divergent nettement sur sa probabilité, son calendrier, et même sur l'utilité de ce cadrage.
Un système très capable n'est pas automatiquement dangereux. L'inquiétude tient à la combinaison entre la capacité et des objectifs imparfaitement spécifiés, ce qui est la condition normale de toute spécification jamais écrite.
C'est le problème d'alignement dans sa forme la moins spectaculaire. Il ne s'agit pas d'une machine qui se retournerait contre nous. Il s'agit de l'écart entre ce que nous avons demandé et ce que nous voulions dire, évalué par quelque chose qui ne partage pas nos présupposés implicites.
La supervision humaine suppose trois choses : que nous pouvons observer ce que fait le système, comprendre pourquoi, et intervenir à temps. Chaque hypothèse s'affaiblit à mesure que la capacité augmente, et elles s'affaiblissent ensemble.
C'est pourquoi une grande partie du travail sérieux se concentre sur l'interprétabilité et sur le maintien de systèmes corrigibles. L'objectif n'est pas de contraindre la capacité, mais de préserver les conditions dans lesquelles la supervision garde un sens.
Que les méthodes actuelles puissent atteindre ce niveau reste non résolu. Que l'intelligence de ce genre soit une grandeur unique susceptible d'être dépassée est disputé. Que ce cadrage du risque éclipse des torts plus proches est un débat vivant et légitime.
Toute page sur ce sujet qui présente le résultat comme acquis déforme l'état des connaissances, dans un sens comme dans l'autre.
La fiction peut retenir une question non résolue sans avoir besoin de la résoudre, ce qui est exactement la bonne posture ici. Elle peut aussi faire ce que l'argumentation ne peut pas : montrer ce que ressent la déférence, de l'intérieur.
The Unread se situe volontairement à une échelle plus modeste que la superintelligence. Il s'intéresse à la première étape — un système assez digne de confiance pour que le désaccord devienne socialement coûteux — car cette étape n'a rien d'hypothétique.
Les avis d'experts divergent sincèrement, tant sur la probabilité que sur le calendrier. Cette page ne prend position sur aucun des deux points.
The Unread paraît d'abord en anglais. Aucune édition traduite n'a été annoncée à ce jour.
Registre des lecteurs