IA e humanidade
Em resumo
O excesso de confiança transforma os erros de um sistema em factos sociais: assim que um resultado passa a ser tratado como o relato por defeito da realidade, corrigi-lo exige mais provas do que produzi-lo alguma vez exigiu.
O resultado de um sistema de confiança não custa nada a produzir e é aceite por defeito. Contradizê-lo exige reunir provas, encontrar alguém disposto a rever o caso e insistir para lá da resposta inicial.
Essa assimetria é o problema todo. Não exige que o sistema erre com frequência — só que o processo de errar seja muito mais barato do que o processo de corrigir.
A verificação para: ninguém confere porque conferir nunca encontrou nada. As competências atrofiam-se: as pessoas que poderiam verificar são recolocadas noutras funções. E a discordância passa a ser vista como um julgamento de caráter, e não como uma alegação técnica.
O objetivo não é menos confiança, mas confiança correta — conhecer as condições específicas em que este sistema não é fiável. Isso exige que as organizações publiquem os seus modos de falha, algo para que poucas estão estruturalmente motivadas.
A dificuldade de Aurora Vale em The Unread não é que alguém minta. É que o seu relato exige esforço para ser considerado, e o relato do sistema não exige nenhum.
A desconfiança generalizada tem os seus próprios custos e desperdiça benefícios reais. A confiança calibrada — saber onde o sistema falha — é o objetivo mais útil.
The Unread é publicado inicialmente em inglês. Edições traduzidas ainda não foram anunciadas.
Registo de leitores