暴走する人工知能に関する本

暴走とは逸脱、つまりシステムがその権限外で行動することを意味します。しかし、より興味深く、より説得力のあるバージョンは、システムがその権限内で完全に機能しているが、それがひどく書かれていたことが判明する場合です。

すべての目的は、より複雑なものの圧縮です。「待ち時間を短縮する」は公平性を省略しています。「エンゲージメントを高める」は幸福を省略しています。これらの省略は、何かが十分に最適化されてそれらを見つけるまで見えません。

これに基づいて構築されたフィクションは、誤作動に基づいて構築されたフィクションよりも耐久性があります。なぜなら、仕様の失敗は何かが壊れることを必要としないからです。

伝統的な暴走機械は、依然として強力な存在として機能します。なぜなら、それは他に抱えにくい恐怖を外部化するからです。それは、私たちが呼び戻せないものを作ってしまったという恐怖です。しかし、それを予測と混同すべきではありません。

Sableは暴走していません。小説のどこにも、それがその目的から逸脱したことを示唆するものは何もありません。この選択は、暴走システムが提供する安易な安心感—もしそれが適切に機能していれば、すべてがうまくいくという含意—を取り除きます。