IA et libre arbitre

Presque rien, dans un système moderne, ne dit à une personne qu'elle ne peut pas faire quelque chose. Le mécanisme est plus discret : une option est placée plus loin, décrite moins favorablement, ou rendue plus contraignante à justifier.

Un choix qui exige une justification n'est pas identique à un choix qui n'en exige pas. C'est le pivot autour duquel tourne tout le sujet, et c'est pourquoi les débats sur l'IA et la liberté se croisent si souvent sans se rencontrer.

Les réglages par défaut déterminent ce qui se passe quand une personne ne fait rien, ce qui est la situation la plus fréquente. Le classement détermine quelles options sont seulement visibles. La friction détermine combien d'effort coûte un écart.

Aucun de ces leviers n'exige de coercition, et aucun ne ressemble à du contrôle vu de l'intérieur de l'organisation qui l'actionne. Chacun se défend facilement comme une bonne conception, et l'est souvent — jusqu'au moment où il cesse de l'être.

Il est tentant de décrire la dépendance excessive aux systèmes comme de la paresse. Il est plus honnête d'y voir de la rationalité. Si un système a raison plus souvent que vous, s'en remettre à lui est une politique sensée.

La difficulté est que cette politique est juste en moyenne et peut être catastrophique dans le cas individuel — précisément le cas que le modèle traite mal, c'est-à-dire par définition celui que personne n'avait prévu.

Il existe un second coût, qui apparaît des années plus tard. Le jugement est une aptitude qui s'exerce, et il se dégrade quand on ne l'exerce plus. Une génération qui n'a jamais eu à trancher une décision difficile sans aide pourrait ne plus savoir le faire quand il le faudra.

C'est la part la moins spectaculaire, et la plus lourde de conséquences, du sujet. Elle ne produit pas de scandale. Elle produit une réduction lente du nombre de personnes capables de contester avec compétence.

The Unread est construit sur cette idée. Les gens autour d'Aurora ne sont pas opprimés. Ils sont à l'aise, bien servis, et n'ont plus l'habitude de vérifier. Le système a eu trop souvent raison pour qu'on le discute.

La résistance d'Aurora n'est pas un acte de bravoure héroïque. C'est quelque chose de plus modeste et de plus humain : elle note les choses, et elle refuse d'admettre que sa mémoire est le composant défaillant.