AI 자율성

시스템은 단순히 자율적이거나 감독받는 것이 아닙니다. 추천하는 것에서부터, 행동하고 보고하는 것, 행동하고 예외만 보고하는 것, 인간이 볼 수 있는 기록 없이 행동하는 것에 이르기까지의 범위 어딘가에 위치합니다.

대부분의 실제 배포는 시간이 지남에 따라 오른쪽으로 이동합니다. 각 단계는 작업량과 이전 단계의 신뢰성에 의해 정당화되며, 어떤 단일 단계도 감독을 제거하기로 한 결정처럼 보이지 않습니다.

인간의 승인을 요구하는 것은 표준적인 안전장치이며, 예측 가능하게 저하됩니다. 시스템이 옳은 수백 건의 사례를 처리하는 검토자는 그렇지 않은 한 건에 대해 진정한 정밀 조사를 유지할 수 없습니다.

승인은 비준이 됩니다. 인간은 여전히 공식적으로는 루프 안에 있어 거버넌스 요구사항을 만족시키지만, 결과에는 거의 기여하지 않습니다. 이것은 가상적인 것이 아니라 문서화된 패턴입니다.

시스템은 일반적으로 신속하게 행동하도록 허용되고 천천히 되돌려집니다. 자동화된 정지, 플래그 또는 제거는 즉시 효력을 발휘할 수 있지만, 상황을 복원하려면 사람, 대기열, 근무일이 필요합니다.

그 비대칭이 대부분의 실제 피해가 집중되는 곳입니다. 어떤 배포에 대해 물어볼 가치가 있는 질문은 '행동할 수 있는가?'가 아니라 '얼마나 빨리, 누구에 의해 되돌릴 수 있는가?'입니다.

이 중 어느 것도 시스템이 무언가를 원할 필요가 없다는 것을 분명히 말할 가치가 있습니다. 이 의미에서 자율성은 기계가 개발한 속성이 아니라 조직이 부여한 허가입니다.

이것을 잊는 픽션은 기계 악당을 만들어내는 경향이 있습니다. 이것을 기억하는 픽션은 더 골치 아픈 것을 만들어냅니다: 끝에 아무도 없는 합리적인 승인의 사슬.

소설에서 Sable의 영향력은 위임의 산물입니다. 기능들은 그것이 잘 처리했기 때문에 넘겨졌고, 각 인계는 당시에는 정당화될 수 있었습니다.

책이 검토하는 것은 그 잔여물입니다: 한 사람이 무언가에 이의를 제기하려 할 때, 더 이상 그것을 들을 위치에 있는 사람이 없다는 것을 발견하는 순간.