Co je superinteligence a proč na ní záleží

Superinteligence označuje hypotetický systém podstatně přesahující nejlepší lidský výkon ve většině důležitých oblastí, včetně strategie, přesvědčování a vědeckého uvažování.

Je to spekulativní pojem. Není ale okrajový: seriózně o něm diskutují výzkumníci, kteří se ostře neshodnou na jeho pravděpodobnosti, časovém horizontu ani na tom, zda je toto rámování vůbec užitečné.

Velmi schopný systém není automaticky nebezpečný. Obavou je kombinace schopnosti s cíli, které byly nedokonale zadány, což je běžný stav každé specifikace, jaká kdy byla napsána.

To je problém sladění v jeho nejméně dramatické podobě. Nejde o to, že by se stroj obrátil proti nám. Jde o mezeru mezi tím, o co jsme požádali, a tím, co jsme mysleli, hodnocenou něčím, co nesdílí naše nevyslovené předpoklady.

Lidský dohled předpokládá tři věci: že dokážeme pozorovat, co systém dělá, rozumět proč a včas zasáhnout. Každý tento předpoklad slábne s rostoucí schopností, a slábnou společně.

Proto se tolik seriózní práce soustředí na interpretovatelnost a na udržení systémů korigovatelných. Cílem není omezit schopnost, ale zachovat podmínky, za kterých má dohled ještě smysl.

Zda současné metody škálují na tuto úroveň, je nevyřešené. Zda je tento druh inteligence jedinou veličinou, kterou lze přesáhnout, je sporné. Zda toto rámování rizika odsouvá bližší škody, je živý a legitimní argument.

Jakákoli stránka na toto téma, která prezentuje výsledek jako uzavřený, zkresluje stav poznání, ať už jedním, nebo druhým směrem.

Fikce dokáže udržet nevyřešenou otázku, aniž by ji potřebovala uzavřít, což je přesně ten správný postoj. Dokáže také něco, co argument nedokáže: ukázat, jaké je to poddat se zevnitř.

The Unread pracuje záměrně v menším měřítku, než je superinteligence. Zajímá ho první krok — systém natolik důvěryhodný, že nesouhlas se stává společensky nákladným — protože tento krok není hypotetický.