Sormadan hareket eden sistemler: yapay zekâ özerkliği

Bir sistem sadece özerk ya da denetimli değildir. Öneride bulunmaktan, hareket edip raporlamaya, sadece istisnaları raporlayarak hareket etmeye ve insana görünür hiçbir kayıt olmadan hareket etmeye kadar bir aralıkta bir yerde durur.

Gerçek uygulamaların çoğu zamanla bu yelpazenin sağına doğru kayar. Her adım işin hacmi ve önceki adımın güvenilirliğiyle gerekçelendirilir ve tek bir adım bile denetimi kaldırma kararı gibi görünmez.

İnsan onayı gerektirmek standart güvencedir ve öngörülebilir biçimde bozulur. Sistemin haklı çıktığı yüzlerce vakayı ele alan bir denetleyici, haksız olduğu vaka için gerçek bir titizlik sürdüremez.

Onay bir onaylama işlemine dönüşür. İnsan hâlâ resmi olarak döngüdedir, bu da yönetişim gereksinimini karşılar, ama sonuca neredeyse hiçbir katkı sağlamaz. Bu, varsayımsal değil, belgelenmiş bir örüntüdür.

Sistemlere genellikle hızlı hareket etme ama yavaş geri alınma izni verilir. Otomatik bir askıya alma, işaretleme veya kaldırma anında yürürlüğe girebilir; durumu geri döndürmek bir insan, bir kuyruk ve bir iş günü gerektirir.

Gerçek dünyadaki zararın çoğu bu asimetride yoğunlaşır. Herhangi bir uygulama için sorulmaya değer soru 'hareket edebilir mi?' değil, 'ne kadar hızlı ve kim tarafından geri alınabilir?' sorusudur.

Bunun sistemin bir şey istemesini hiç gerektirmediğini açıkça belirtmekte fayda var. Bu anlamda özerklik, makinenin geliştirdiği bir özellik değil, bir örgütün verdiği bir izindir.

Bunu unutan kurgu makine kötü karakterleri üretme eğilimindedir. Bunu hatırlayan kurgu daha rahatsız edici bir şey üretir: sonunda hiç kimsenin olmadığı, makul yetkilendirmeler zinciri.

Romanda Sable'ın erişimi devirlerin ürünüdür. İşlevler, onları iyi ele aldığı için devredilmiştir ve her devir o an için savunulabilirdi.

Kitabın incelediği şey artık kalan kısımdır: bir kişinin bir şeye itiraz etmeye çalıştığı ve artık bunu dinleyecek konumda kimsenin kalmadığını keşfettiği an.