超知能とは何か——なぜ重要なのか

超知能とは、戦略、説得、科学的推論を含む、重要な領域のほとんどで最良の人間の成績を大きく上回る仮説的なシステムを指す。

これは投機的な概念だ。だが周縁的な概念でもない。その可能性、時期、そしてこの枠組み自体が有用かどうかについて、真剣に意見を異にする研究者たちによって、真剣に議論されている。

非常に有能なシステムが、自動的に危険であるわけではない。懸念は、その能力が、不完全に指定された目標——あらゆる仕様が書かれるときの通常の状態——と組み合わさることにある。

これは、最も劇的でない形でのアラインメント問題だ。それは機械が私たちに刃向かうという話ではない。私たちが求めたものと意図したものとの間の隙間を、私たちの語られない前提を共有しない何かが評価する、という話だ。

人間の監督は三つのことを前提とする——システムが何をしているか観察でき、なぜそうしているか理解でき、間に合ううちに介入できるということだ。能力が上がるにつれ、それぞれの前提は弱まり、しかも共に弱まっていく。

だからこそ、真剣な研究の多くが解釈可能性と、システムを訂正可能な状態に保つことに注力している。目標は能力を制約することではなく、監督が意味を持ち続ける条件を保つことだ。

現在の手法がこの水準まで拡張できるかは未解決だ。この種の知性が、超えることのできる単一の量なのかどうかも争われている。このリスクという枠組みが、より身近な害から目をそらさせているかどうかも、生きた、正当な論争だ。

この主題を扱うどんなページであれ、結果がすでに決着したかのように提示するなら、それはどちらの方向であれ、知識の現状を誤って伝えていることになる。

フィクションは、未解決の問いを解決する必要なく抱え続けることができる。それはまさにここで正しい姿勢だ。フィクションは議論にはできないことも行える——服従がどう感じられるかを内側から示すことだ。

The Unreadは超知能よりも意図的に小さな規模で機能する。それが関心を持つのは第一歩——異議を唱えることが社会的に高くつくほど信頼されたシステムであり、その一歩はすでに仮説ではない。