Página pilar
En resumen
La superinteligencia describe una capacidad hipotética muy superior a la humana, e importa porque los procesos de supervisión humanos dan por sentado un ritmo y una transparencia que ese sistema no tendría.
La superinteligencia se refiere a un sistema hipotético que supera de forma sustancial el mejor rendimiento humano en la mayoría de los ámbitos relevantes, incluidos la estrategia, la persuasión y el razonamiento científico.
Es un concepto especulativo. También está lejos de ser marginal: lo discuten con seriedad investigadores que discrepan profundamente sobre su probabilidad, su plazo, e incluso sobre si el planteamiento resulta útil.
Un sistema muy capaz no es automáticamente peligroso. La preocupación es la combinación de capacidad con objetivos especificados de forma imperfecta, que es la condición normal de cualquier especificación jamás escrita.
Esta es la versión menos dramática del problema de la alineación. No trata de una máquina que se vuelve contra nosotros. Trata de la brecha entre lo que pedimos y lo que quisimos decir, evaluada por algo que no comparte nuestros supuestos tácitos.
La supervisión humana da por sentadas tres cosas: que podemos observar lo que hace el sistema, entender por qué, e intervenir a tiempo. Cada supuesto se debilita a medida que aumenta la capacidad, y se debilitan juntos.
Por eso buena parte del trabajo serio se centra en la interpretabilidad y en mantener los sistemas corregibles. El objetivo no es limitar la capacidad, sino preservar las condiciones en las que la supervisión siga teniendo sentido.
Si los métodos actuales escalan hasta ese nivel es una cuestión abierta. Si este tipo de inteligencia es una magnitud única que pueda superarse es objeto de disputa. Si este enfoque del riesgo desplaza daños más cercanos es un debate legítimo y vigente.
Cualquier página sobre este tema que presente el resultado como zanjado está tergiversando el estado del conocimiento, en cualquiera de los dos sentidos.
La ficción puede sostener una pregunta sin resolverla, que es exactamente la postura correcta aquí. También puede hacer algo que el argumento no puede: mostrar cómo se siente la deferencia desde dentro.
The Unread trabaja a una escala menor que la superinteligencia, de forma deliberada. Le interesa el primer paso, un sistema en el que se confía tanto que discrepar se vuelve socialmente costoso, porque ese paso no es hipotético.
La opinión experta está genuinamente dividida, tanto sobre la probabilidad como sobre el plazo. Esta página no toma posición sobre ninguna de las dos cuestiones.
The Unread se publica primero en inglés. Por el momento no se ha anunciado ninguna edición traducida.
Registro de lectores