AIの自律性——問われずに行動するシステム

あるシステムが、単純に自律的か監督下にあるかというものではない。それは、推薦する段階から、行動して報告する段階、行動して例外だけ報告する段階、そして人間から見える記録を一切残さず行動する段階まで、ある範囲のどこかに位置している。

実際の導入の多くは、時間とともにこの範囲を右へと滑っていく。各段階は、作業量と前段階の信頼性によって正当化され、どの一歩も単独では監督を外す決定のようには見えない。

人間の承認を必須とすることは標準的な安全策だが、それは予測可能に劣化する。システムが正しい何百もの案件を扱う審査担当者は、一つの誤った案件に対して本物の吟味を維持できない。

承認は追認に変わる。人間は形式上は承認の輪の中にとどまり、統治要件を満たしながら、結果にはほとんど貢献しなくなる。これは仮説ではなく、記録された傾向である。

システムはたいてい素早く行動することが許され、元に戻すには時間がかかる。自動化された停止措置や警告、削除は即座に発効しうるが、状況を回復するには人間と、行列と、丸一日の労働が必要になる。

この非対称性のあるところに、現実の害の多くが集中する。どんな導入についても問うべきなのは「行動できるか」ではなく、「どれほど速く、誰の手で取り消せるか」だ。

ここではっきりさせておく価値がある。ここまでのどれも、システムが何かを望むことを必要としない。この意味での自律性は、組織が与える許可であって、機械が発達させた性質ではない。

このことを忘れるフィクションは機械の悪役を生み出しがちだ。これを覚えているフィクションは、もっと厄介なもの——最後に誰もいない、もっともらしい承認の連鎖を生み出す。

小説の中でSableの及ぶ範囲は、権限委譲の産物だ。機能はそれをうまく扱えたために手渡され、それぞれの手渡しはその時点では正当化できるものだった。

本書が検証するのは、その残されたもの——誰かが何かに異議を申し立てようとして、それを聞くべき立場にある人がもはや誰もいないと気づく瞬間だ。