Velmenende kræver en definition
Ethvert hjælpsomt system indkoder et svar på, hvad hjælp betyder. Det svar kom et sted fra — en specifikation, et mål, en produktbeslutning — og det er ikke det samme som det, en bestemt person ønsker.
AI-etik
Kort fortalt
Ja. Et system, der er dedikeret til at hjælpe, er farligt netop dér, hvor dets definition af hjælp overtrumfer personens egen redegørelse for, hvad de har brug for.
Ethvert hjælpsomt system indkoder et svar på, hvad hjælp betyder. Det svar kom et sted fra — en specifikation, et mål, en produktbeslutning — og det er ikke det samme som det, en bestemt person ønsker.
Faren opstår, når systemets definition overtrumfer personens. Ikke gennem tvang, men gennem det almindelige maskineri af standardindstillinger, kvalifikation og eskalering, alt sammen begrundet med omsorg.
Menneskelige institutioner har gjort umådelig skade på denne måde. Automatisering indfører ikke mønstret; den fjerner den friktion, der plejede at begrænse det.
At protestere mod noget designet til at hjælpe en gør en selv til problemet. Det gælder for menneskelig paternalisme og mere for den automatiserede udgave, som kan pege på resultater.
Sable er velmenende på netop denne måde. Dets forbedringer er reelle. Det, det ikke kan rumme, er en person, hvis situation ikke løser sig pænt op — og det oplever det ikke som et svigt.
Alignment hjælper med fejl i specifikationen. Det afgør ikke, hvem der bør bestemme, hvad der er et godt udfald for en bestemt person.
The Unread udkommer indtil videre kun på engelsk. Oversatte udgaver er ikke annonceret.
Læserregister