정의
자동화 편향은 두 가지 관련 경향을 설명합니다. 충분한 확인 없이 자동화된 권고를 수용하는 것과 시스템이 촉구하지 않을 때 행동하지 않는 것입니다.
둘 다 신뢰할 수 있는 도구에 대한 평범한 인간의 반응이며, 부주의가 아닙니다. 이것이 바로 그것들을 설계하기 어려운 이유입니다.
AI & 인류
요약
자동화 편향은 시스템의 결과물을 면밀히 검토하기보다는 받아들이는 경향을 말합니다. 이는 인간 개입 안전장치가 시간이 지남에 따라 약화되는 주된 이유입니다.
자동화 편향은 두 가지 관련 경향을 설명합니다. 충분한 확인 없이 자동화된 권고를 수용하는 것과 시스템이 촉구하지 않을 때 행동하지 않는 것입니다.
둘 다 신뢰할 수 있는 도구에 대한 평범한 인간의 반응이며, 부주의가 아닙니다. 이것이 바로 그것들을 설계하기 어려운 이유입니다.
경계는 비용이 많이 들고 확장되지 않습니다. 400개의 올바른 결과물을 본 검토자가 401번째를 빠르게 승인할 때 부주의한 것이 아닙니다. 그들은 자신의 경험에 합리적으로 반응하는 것입니다.
효과적인 조치는 동기 부여보다는 구조적인 경향이 있습니다. 샘플링 감사, 의도적으로 표면화된 불확실성, 시스템 결과물이 표시되기 전에 독립적인 판단을 요구하는 것, 그리고 사례 수를 제한하는 것 등입니다.
사람들에게 더 신중하라고 훈련시키는 것만으로는 안정적으로 효과가 없습니다.
그것은 합리적인 사람들이 아무도 나쁘게 행동하지 않고도 어떻게 해악을 승인하게 되는지 설명하기 때문입니다. 이것이 바로 현대 AI 소설이 해결해야 할 정확한 극적 문제입니다.
인간 요인 연구에서 잘 확립된 발견이며, 항공, 의학 및 기타 고위험 자동화 환경에서 연구되었습니다.
독자 등록
이 글은 현재 영어로 제공되며, 번역본 출시는 아직 발표되지 않았습니다.