人工智能自主权

一个系统并非简单地分为自主或受监督。它位于一个范围的某个点上，从推荐，到行动并报告，再到行动并仅报告异常，直至行动而没有任何人类可见的记录。

大多数实际部署会随着时间向右滑动。每一步都因工作量和前一步的可靠性而合理化，没有任何一步看起来像是移除监督的决定。

要求人类批准是标准的保障措施，但它会可预见地退化。一个处理数百个系统正确的案例的审查员，无法对那个系统出错的案例保持真正的审视。

批准变成了例行公事。人类在形式上仍在回路中，这满足了治理要求，但对结果几乎没有贡献。这是一个有据可查的模式，而非假设。

系统通常被允许快速行动，而撤销则很慢。一个自动的暂停、标记或移除可以立即生效；恢复原状则需要一个人、一个队列和一个工作日。

这种不对称性是大多数现实世界伤害集中的地方。对任何部署值得问的问题不是“它能行动吗？”而是“它能多快被撤销，由谁来撤销？”

值得明确指出的是，这一切都不需要系统有任何“意图”。这里的自主权是一个组织授予的许可，而不是机器自己发展的属性。

忘记这一点的小说倾向于塑造机器恶棍。记住这一点的小说则会产生一些更令人不安的东西：一连串合理的授权，但最终却无人负责。

小说中 Sable 的权力范围是授权的结果。各项功能被移交，因为它处理得很好，而且每一次移交在当时都是可以辩护的。

这本书审视的是其残留物：当一个人试图申诉某事，却发现不再有任何人有权受理时的那一刻。