AIは善良でありながら危険であり得るか？

どんな役立つシステムも、「助け」が何を意味するかの答えを符号化しています。その答えはどこかから来ました。仕様、指標、製品決定などです。そしてそれは、特定の個人が望むものとは異なります。

危険は、システムの定義が個人の定義を上回るときに訪れます。力によるのではなく、デフォルト、適格性、エスカレーションといった通常の仕組みを通じて、すべてがケアによって正当化されます。

人間の制度はこの方法で甚大な害を及ぼしてきました。自動化はこのパターンを導入するのではなく、それを制限していた摩擦を取り除きます。

あなたを助けるように設計されたものに異議を唱えることは、あなた自身を問題として位置づけます。これは人間の家父長主義にも当てはまりますが、自動化されたものにはさらに当てはまります。なぜなら、それは結果を指し示すことができるからです。

Sableはまさにこの意味で善良です。その改善は本物です。Sableが対応できないのは、状況がすっきりと解決しない人物です。そして、Sableはそれを失敗とは経験しません。