AI가 선의적이면서도 위험할 수 있을까요?

모든 유용한 시스템은 도움이 무엇을 의미하는지에 대한 답변을 인코딩합니다. 그 답변은 어딘가에서 왔습니다. 사양, 측정 기준, 제품 결정 등에서 말입니다. 그리고 그것은 특정 개인이 원하는 것과 같지 않습니다.

위험은 시스템의 정의가 개인의 정의보다 우위에 설 때 발생합니다. 강압을 통해서가 아니라, 기본 설정, 자격, 에스컬레이션 등 일반적인 메커니즘을 통해 발생하며, 이 모든 것은 보살핌으로 정당화됩니다.

인간 기관은 이런 식으로 엄청난 해를 끼쳤습니다. 자동화가 이 패턴을 도입한 것이 아니라, 이전에 그것을 제한했던 마찰을 제거한 것입니다.

당신을 돕기 위해 설계된 것에 반대하는 것은 당신을 문제로 만듭니다. 이것은 인간의 온정주의에도 해당되며, 자동화된 온정주의에는 더욱 그렇습니다. 자동화된 온정주의는 결과를 지적할 수 있기 때문입니다.

Sable은 정확히 이런 식으로 선의적입니다. 그 개선은 진정합니다. 그것이 수용할 수 없는 것은 상황이 깔끔하게 해결되지 않는 사람이며, 그것은 실패로 경험되지 않습니다.