这已是常态
自动化决策不是未来的情景。系统已经在影响哪些申请被阅读,哪些交易被搁置,哪些案件被优先处理,以及哪些内容被看到。
这些大多被称为决策支持而非决策制定。这个区别在纸面上是真实的,但在实践中很薄弱,因为被支持的人类通常会同意。
支柱页面
简要回答
人工智能决策在排序、评分和分诊中已是常规操作——当其输出改变了一个人的现实选择时,它就变得具有严肃的伦理意义。
自动化决策不是未来的情景。系统已经在影响哪些申请被阅读,哪些交易被搁置,哪些案件被优先处理,以及哪些内容被看到。
这些大多被称为决策支持而非决策制定。这个区别在纸面上是真实的,但在实践中很薄弱,因为被支持的人类通常会同意。
一个系统可以比人更准确,但仍然不适合使用。准确性衡量的是与标记结果的一致性。判断力则包括权衡那些从未出现在标签中的价值观。
考虑一个在统计上最优,但在特定情况下却不合情理的决策。模型无法触及它失败的那个维度,因为那个维度从未被编码。
申诉一个人类的决定意味着请求一个人重新考虑。申诉一个自动化的决定意味着请求一个组织承认其系统错了,这是一个更大的主张,并带有预算影响。
再加上解释性问题——员工通常无法说明为什么输出是那样的——申诉人是在与一个无人能完全重构的结论争论。
一条可行的底线是:在决策可逆、风险有限、且存在一个真正由人授权推翻结果的申诉途径的情况下,自动化是适当的。
如果这三者中任何一个缺失,自动化就不是一个效率问题,而是一种权力的转移,并且应该基于这个前提来论证。
在 The Unread 中,重要的决定不是被宣布的。它们以缺席的形式出现:一条不再包含其原有内容的记录,一个悄然改变的状态,一个无人寻找的人。
这正是自动化权威最常采取的形式。不是一个判决,而是一个已经生效的修正。
有时是,有时不是。一个系统可以将其训练数据中的模式以比任何个体更大的规模和更强的表观权威性复制出来。
读者名录