定义
自动化偏差描述了两种相关的倾向:未经充分检查就接受自动化推荐,以及当系统未提示时未能采取行动。
两者都是人类对可靠工具的正常反应,而非疏忽。这正是它们难以被设计规避的原因。
人工智能与人类
简要回答
自动化偏差是指倾向于接受系统输出而非仔细审查——这是人机协作保障措施随时间减弱的主要原因。
自动化偏差描述了两种相关的倾向:未经充分检查就接受自动化推荐,以及当系统未提示时未能采取行动。
两者都是人类对可靠工具的正常反应,而非疏忽。这正是它们难以被设计规避的原因。
警惕性成本高昂且无法规模化。一位审查员在看到四百个正确输出后,快速批准第四百零一个并非粗心;他们是对自己的经验做出的理性反应。
有效的措施往往是结构性的而非激励性的:抽样审计、刻意呈现不确定性、在显示系统输出前要求独立判断,以及限制案例数量。
单独训练人们更小心,通常是无效的。
因为它解释了明智的人们如何在没有人行为不当的情况下最终认可伤害,这正是现代人工智能小说必须解决的戏剧性问题。
这是人因工程研究中一个公认的发现,在航空、医学和其他高风险自动化环境中都有研究。
读者名录
THE UNREAD 目前仅提供英文版,暂无其他语言版本的发布计划。