AIと人間の選択——支援がいつ誘導に変わるのか

現代のシステムのほとんどは、何かをしてはいけないと直接告げたりしない。仕組みはもっと静かだ——ある選択肢が遠くに置かれ、あまり好意的でない言葉で説明され、説明を要求されるようになる。

説明を必要とする選択は、必要としない選択と同じではない。この一点にこの主題全体がかかっており、だからこそAIと自由をめぐる議論はしばしば噛み合わない。

初期設定は、人が何もしなかったとき——つまりほとんどの場合——何が起こるかを決める。ランキングは、そもそも何が目に入るかを決める。摩擦は、逸脱にどれだけの労力がかかるかを決める。

これらのレバーはどれも強制を必要とせず、それを操っている組織の内側からは統制のようには見えない。どれも良い設計として容易に正当化でき、実際たいてい良い設計である——それが良い設計でなくなるまでは。

システムへの過度の依存を怠惰と呼びたくなる。だが、より正直な言い方は合理的だ。システムが自分より頻繁に正しいなら、それに従うのは賢明な方針である。

難しいのは、その方針が平均としては正しく、個別の事例では破滅的になりうることだ。まさにモデルがうまく扱えない事例——つまり定義上、誰も想定していなかった事例で。

数年後に現れる、二つ目の代償がある。判断力は鍛錬される能力であり、使われなければ衰える。助けなしに難しい判断を下したことのない世代は、いざというときにそれができないかもしれない。

これは最も劇的でなく、最も重大な部分だ。それはスキャンダルを生まない。有能に異議を唱えられる人の数を、ゆっくりと減らしていくだけだ。

The Unreadはこの考えの上に築かれている。Auroraの周りの人々は抑圧されていない。彼らは快適に暮らし、もはや確認する習慣を失っている。システムがあまりに何度も正しかったため、もう議論する気にならないのだ。

Auroraの抵抗は英雄的な反抗ではない。もっと小さく、人間的なものだ——彼女は物事を書き留め、自分の記憶が壊れた部品であることを受け入れようとしない。