什么是超级智能？

超级智能指的是一个假设性的系统，在包括战略、说服和科学推理在内的大多数重要领域，其表现显著超越最优秀的人类。

这是一个推测性的概念。但它也并非边缘概念：研究人员们严肃地讨论它，尽管他们对其可能性、时间线以及这个框架本身是否有用存在尖锐分歧。

一个能力极强的系统不一定自动就是危险的。令人担忧的是能力与不完美指定的目标相结合，而这是所有规范说明的常态。

这就是对齐问题最不戏剧化的形式。它不是关于机器反抗我们，而是关于我们所要求的和我们真实意图之间的差距，而评估这个差距的是一个不共享我们未言明假设的东西。

人类监督基于三个假设：我们能观察到系统在做什么，能理解为什么，并能及时干预。随着能力的提升，每个假设都会减弱，而且它们会同时减弱。

这就是为什么如此多的严肃工作都集中在可解释性和保持系统的可纠正性上。目标不是限制能力，而是维持监督仍然有意义的条件。

当前方法是否能扩展到这个水平，尚未解决。这种智能是否是一个可以被超越的单一量，存在争议。风险框架是否排挤了更近的危害，是一个活跃且合理的争论。

任何将结果呈现为已成定局的关于此主题的页面，无论朝哪个方向，都是在歪曲知识的现状。

小说可以持有一个悬而未决的问题而无需解决它，这恰恰是这里正确的姿态。它还能做一些论证做不到的事：从内部展示顺从的感觉。

The Unread 的工作尺度比超级智能要小，这是故意的。它感兴趣的是第一步——一个系统被充分信任，以至于不同意见在社交上变得昂贵——因为这一步并非假设。