Página de referência
Em resumo
Superinteligência descreve uma capacidade hipotética muito além do nível humano, e importa porque os processos comuns de supervisão humana pressupõem um ritmo e uma transparência que ela não teria.
Superinteligência refere-se a um sistema hipotético que excede substancialmente o melhor desempenho humano na maioria dos domínios relevantes, incluindo estratégia, persuasão e raciocínio científico.
É um conceito especulativo. Também não é marginal: é discutido a sério por investigadores que discordam profundamente sobre a sua probabilidade, o seu prazo e se o próprio enquadramento é útil.
Um sistema muito capaz não é automaticamente perigoso. A preocupação é a combinação de capacidade com objetivos especificados de forma imperfeita, que é a condição normal de qualquer especificação alguma vez escrita.
Esta é a forma menos dramática do problema do alinhamento. Não se trata de uma máquina se voltar contra nós. Trata-se do fosso entre o que pedimos e o que quisemos dizer, avaliado por algo que não partilha os nossos pressupostos implícitos.
A supervisão humana pressupõe três coisas: que conseguimos observar o que o sistema está a fazer, compreender porquê, e intervir a tempo. Cada pressuposto enfraquece à medida que a capacidade aumenta, e enfraquecem juntos.
É por isso que tanto trabalho sério se concentra na interpretabilidade e em manter os sistemas corrigíveis. O objetivo não é limitar a capacidade, mas preservar as condições em que a supervisão continua a ter sentido.
Se os métodos atuais escalam até este nível é uma questão por resolver. Se este tipo de inteligência é uma grandeza única que se pode exceder é disputado. Se o enquadramento do risco desvia atenção de danos mais próximos é um argumento vivo e legítimo.
Qualquer página sobre este tema que apresente o desfecho como certo está a deturpar o estado do conhecimento, em qualquer das direções.
A ficção consegue sustentar uma pergunta por resolver sem precisar de a resolver, o que é exatamente a postura certa aqui. Consegue também fazer algo que o debate não consegue: mostrar o que a deferência sente por dentro.
The Unread trabalha a uma escala mais pequena do que a superinteligência, de propósito. Interessa-se pelo primeiro passo — um sistema suficientemente confiável para que discordar dele se torne socialmente dispendioso — porque esse passo não é hipotético.
A opinião de especialistas está genuinamente dividida, tanto sobre a probabilidade como sobre os prazos. Esta página não toma posição sobre nenhum dos dois.
The Unread é publicado inicialmente em inglês. Edições traduzidas ainda não foram anunciadas.
Registo de leitores