Orijinal Başlık: Kim İmzalar? Antropik Paradoks ve 40 Trilyon Dolarlık Seçim
Orijinal Yazar: Ashwin Gopinath
Çeviri: Peggy, BlockBeats

Editörün Notu: Yapay Zeka ajanının geleceği, modelin yeteneklerinin sıçramasına bağlı değil, daha temel bir tasarım değişkenine bağlıdır—sorumluluk nihayetinde kime ait olacak?

Yazar, sözde "insanı güçlendirme" ile "insanı yerine geçirme"nin iki farklı teknoloji yolundan ziyade, aynı sistemin farklı tasarım seçimleri altında ortaya çıkan iki sonuç olduğunu savunuyor—kararlar hala insan imzasına ihtiyaç duyduğunda ve sorumluluk belirli bir kişiye izlenebildiğinde, Yapay Zeka bir amplifikatördür; bu bağlantı kaldırıldığında (örneğin otomatik onay, izin atlanması), sistem doğal olarak insanlıktan uzaklaşır.

Makale ayrıca belirtiyor ki, bir AI ajanının gerçek değeri aslında "işin tamamlanması" değil, karmaşık dünyayı bir "imzalanabilir karar birimi"ne sıkıştırmaktır, böylece insanlar anladıktan sonra sonuçları üstlenebilir. Ancak gerçekte, "izin yorgunluğu" kullanıcıların aşamalı olarak gözden geçirmeyi bırakmasına ve birer birer onaylamaktan varsayılan onaya geçmelerine neden olabilir, nihayetinde sistemleri insanlığın ötesinde dolaştırır; bu bir bilişsel mekanizma, bireysel bir sorun değil.

Bu nedenle, makale iki temel kısıtlama öneriyor: birincisi, her önemli kararın belirli, reddedilebilir bir kişiyle ilişkilendirilmesi gerektiği; ikincisi, Ajan'ın özerkliğinden kimin fayda sağladığı, sorun çıkması durumunda kimin sorumlu olacağı.

Sorumluluk oluşturucuya geri getirildiğinde, sistemin varsayılan mantığı değişir. Bu çerçevede, AI'nın ticari hikayesi yeniden yazılır. Birkaç dev pazarının "yarısını yerine koymak" yerine, "insan üretkenliğini artırmak" için dağıtılmış bir araç pazarı olarak ortaya çıkar, ölçek küresel bilgi emeğinin yaklaşık 40 trilyon dolar geliri üzerinde odaklanır, şirket yazılım harcamaları değil.

Nihayet, makaleyi kısa ve keskin bir seçime odaklanan şekilde özetleyerek bitiriyor: AI nihayetinde insanlara mı hizmet ediyor, yoksa kendi amaçları doğrultusunda mı ilerliyor—ve bu cevap, her bir ürün tasarım detayı tarafından sessizce belirleniyor.

Aşağıda orijinal metin bulunmaktadır:

Çok Uzun Yazıyı Kısa Hali

· "Güçlendirici Gelecek" ve "Yerine Geçen Gelecek" için kullanılan aynı model ve araçlar. Bu iki durumu gerçekten ayıran şey, "sonuçların nihayetinde kimin üzerine kalacağı"na dair bir tasarım seçimi.

· Ajan'ın gerçek işi, insan adına görevleri tamamlamak değil, karmaşık dünyayı en küçük ve en sadık "karar alma birimi"ne sıkıştırmaktır, böylece birinin üzerine adını atabileceği birini yapar. Bu sıkıştırma doğru yapıldığında, diğer her şey doğal olarak açılır.

· Bu "birisi", açıkça tanımlanabilen belirli bir birey olmalıdır. Yüksek yük altındaki belirsiz ve genelleşmiş sorumluluk hızla çökeceğinden, her somut sonuca sahip eylem, gerçek bir ret hakkına sahip birine takip edilebilir olmalıdır.

· "İzin Yorgunluğu", Ajan sisteminin kendi evrim yolunda, kendiliğinden "insan yerine geçen" bir yöne kaymasına neden olacaktır. Bu nedenle, "güçlendirilmiş geleceğin" varsayılan olarak gerçekleşmeyeceği, bu eğilime karşı koymak için bilinçli bir şekilde tasarlanması gerektiği anlamına gelir.

· Bir Ajan oluşturduysanız ve onun özerkliğinden faydalandıysanız, bu özerklik sorunlu hale geldiğinde, buna karşı sorumluluğu da üstlenmelisiniz. Maliyetin gerçekten oluşturucunun üzerinde olması durumunda, bütün sistemin varsayılan davranışı değişecektir.

· Bu "insanın hala sorumlu olması" öncülüğünde oluşturulan bir pazarda, muhtemelen mevcut "dikey Ajanın yarısını çalışma pozisyonlarına yerleştirmek" anlatısına büyük ölçüde yatırım yapılan şu anda mevcut olanın kat kat fazlası bir ölçeğe sahip olacaktır, çünkü bu, işletme yazılımı bütçesi değil, yüksek beceri ücretlerini referans aldığı için.

Claude Code, --dangerously-skip-permissions adında bir parametre sağlar. Bu adlandırma dürüsttür; bu parametrenin etkisi tam olarak adıyla belirtilmiştir. Bu parametrenin etkinleştirildiği durumda çalışan bir Ajan, etkinleştirilmediği durumdan daha yetenekli olmayacak; değişen şey, insan gerektiren bir halka olanaklı olan bir halkanın, şimdi insanı atlayarak gerçekleşmesidir.

Bu parametre kendisi bir nevi itiraf gibidir. Altta yatan yetenekler tamamen aynı olduğunda, aynı sistem hem "güçlendirilmiş insan" modunda hem de "sessizce insanın yerine geçen" modunda çalışabilir. Sözde yerine geçme modu, farklı bir model gerektirmez; sadece "onay" adımını uzaklaştırmayı gerektirir.

Bu, sıkıştırılmış bir argümandır. Şu anda piyasaya sürülen en yetenekli Ajan sistemlerinde, "güçlendirme" ile "etkili bir şekilde yerine geçme" arasındaki farkın büyük bir kısmı, onayın kaldırılmasından kaynaklanmaktadır, yeni bir yetenek kategorisi icat etmekten değil. Gelecek on yıl, "güçlendirilmiş insan dünyası" mı yoksa "kendi adına hareket eden özerk Ajanlar dünyası" mı gibi daha çok, bu sistemleri inşa eden kişilere bağlıdır, "insanı döngünün içinde" sistem için merkezi bir unsuru mı yoksa sürtünme unsuru olarak mı gördüler.

Yapay Zeka İnsanı Güçlendirmek mi Yoksa İnsanı Atlamak mı?

Her teknik sorunun altında, nadiren dile getirilen bir teknik olmayan soru vardır: Yapay Zeka insanı güçlendirmek için mi, yoksa Yapay Zeka kendisi amaç mıdır?

Bu iki yanıt, gerçekten farklı iki geleceği temsil eder. "Güçlendirme" pozisyonu, değerin insanın kendisinde var olduğunu ve Ajan'ın görevinin bu kişiyi daha ileri taşımak ve daha iyi kararlar almalarına yardımcı olmak olduğunu savunur. "AI as a Purpose" pozisyonu ise dünyadaki zekanın kendisinin değer kaynağı olduğunu ve insanın nihayetinde sadece verimsiz bir taşıyıcı araç olduğunu iddia eder. Çoğu Ajan ürünü, bu pozisyonlardan birini sessizce kodlar, şaşırtıcı olan ise kurucuların hangi gruba ait olduklarına doğrudan sorulmamasıdır.

Yetenek tasarımı ve onay mekanizması tasarımı hala gelişmektedir. Bu makale, bugün inşaatçıların gerçekten kontrol edebildiği değişkenlere odaklanırken, yetenek üretiminin ucuz hale gelmesinden sonra bile ekonomik değerini koruyan, insanın üzerinden çıkarılamayan özelliklere odaklanır: takdir, zevk, ilişki, sorumluluk ve bir karara imza atma ve sonuçlarına katlanma isteği. Bunların arasında, "sorumluluk" en belirgin ve yürürlükte olan bir unsur olup, yüzyıllardır yürütme altyapısı desteği olan tek unsurdur.

Sorumluluk, Güçlendirme ve Yedekleme Arasındaki Sınır

"Güçlendirici Gelecek" ve "Yedekleme Gelecek" arasındaki farkı ayırt etmek için yapısal kurallar şöyle özetlenebilir: Ajan tarafından icra edilen ve pratik sonuçları olan herhangi bir eylem, kaydedilmiş bir zincirleme bir ilişkiye dayandırılabilmesi gerekir, ve bu ilişki belirli bir insana kadar takip edilebilir olmalıdır — bu kişi ilgili bağlamı görmüş olmalı ve gerçekten reddetme seçeneğine sahip olmalıdır.

Genelleştirilmiş sorumluluk hızla bu testten geçememektedir. "Şirket sorumludur" operasyonel olarak herhangi bir somut içeriği kapsamaz. "Kullanıcı onay verdi" herhangi bir özel konuda onay verildiği anlamına gelmez. "Bir insan tarafından denetlendi" ifadesi, bu kişinin denetlediği şeyin sonunda yayınlanan içerikten tamamen farklı olduğunu ima eder. Gerçekten gereken, adı olan belirli bir insandır; bu kişi bu kararı görmüş, reddetme seçeneği bulunmuş ve reddetme seçeneğini seçmiştir.

Bu bürokrasi gibi gelebilir, ta ki "sorumluluk" özelliğinin diğer çözümlerde bulunmadığını fark edene kadar. Yetenek gelişimi tarafından optimize edilemez; daha akıllı bir model aslında kimin dava edileceğini, ceza alacağını veya hapse atılacağını etkilemeyecektir. Bu, tasarım arayüzünün bir "reddetme noktası" açığa çıkarmak zorunda olduğunu zorunlu kılar. Riskle birlikte doğal olarak genişleyecektir. Ve bu, alanlar arası en güçlü kısıtlamadır ve zaten hazır yürütme altyapısına sahiptir: mahkemeler, sigorta kuruluşları, meslek komiteleri, düzenleyici kurumlar. Lisanslama, güvenilir sorumluluk ve sektörel düzenleme gerçekten etkilidir, ancak bunların kapsamı daha dar olup, hepsi varsayılan olarak "sorumluluğun nerede olduğu" sorununun zaten çözüldüğünü varsayar.

Buna karşılık, AI düzeyindeki yedekleme çözümleri aynı testten geçemez. "Hizalama" uygulanamaz; hatta bu terimin ne anlama geldiği konusunda bile anlaşmaya varılamamaktadır. "Açıklanabilirlik" biçimsel olarak sağlanabilir, ancak özünde karşılanamaz. "İnsan döngüsü içinde" artık "bir yerlerde bir insan" olarak boşaltılmıştır. "Sorumluluk"ın bağlayıcı olmasının nedeni, destekleyici yürütme altyapısının teknolojinin ortaya çıkmasından yüzyıllar önce tamamlanmış olmasıdır.

İzin Yorgunluğu, Sistemi "Alternatif"e İter

Bu gradyan sistemı "alternatif"e iter ve itme kuvveti oldukça güçlüdür. Her bir izin onayı dikkat tüketir. Ajan genellikle haklıdır. Tek bir kararı ele alındığında, "okumadan kabul et" beklentisi genellikle pozitiftir. Bu nedenle, rasyonel bir kullanıcı daha hızlı bir şekilde kabul etmeyi öğrenir, sonra toplu olarak kabul eder, ardından belirli bir tür işlem için otomatik onayı açar, daha sonra bunu daha fazla kategoriye genişletir, ardından bir oturumda o tehlikeli düğmeyi açar ve sonunda bu düğmeyi varlığını bile unutur.

Ben Claude Code'u kullanırken ikinci haftada bu düğmeyi açtım ve üçüncü haftada artık fark etmiyordum. Cursor veya Devin kullanıcıları olan tüm tanıdıklarım benzer deneyimlere sahipler. Bu desen aynı şekilde çerez bildirimlerinde, EULA sözleşmelerinde, TLS uyarılarında, ve mobil izin isteklerinde de görülür. Tekrarlanan düşük riskli onay kararları sonunda "koşulsuz onay" haline gelir. Bu bir bilişsel özelliktir, bir etik sorun değil.

"Güçlendirilmiş Gelecek" otomatik olarak gerçekleşmeyecektir. Dikkatlice tasarlanmamış bir Ajan sistemi, varsayılan olarak alternatife doğru ilerler çünkü kullanıcılar, sürekli olarak kolaylığı ararken, alternatif yolu bilinçli olarak seçerler. Farklı bir gelecek için, bu gradyanın tersine gitmek gereklidir.

Ajanın Değeri, Yürütmekte Değil, İnsanların "İmza" Atmasına İzindir

Ajanın gerçek değeri, görevi tamamlaması değil, görevi imzalanabilir bir forma sıkıştırmasıdır.

Bir ön uç modeli kolayca 4000 satırlık bir kod gönderisi yazabilir, 30 sayfalık bir sözleşme taslağı oluşturabilir, bir klinik kayıt hazırlayabilir veya bir işlem gerçekleştirebilir. Ancak bu ürünlerin gerçek etkisi, "onları üretmek"te değil, insanların onların uygulanmasından sonra sonuçları üstlenme yeteneğindedir. Kimse gerçekten anlamadığı bir kod gönderisi, birleştirildiğinde bir yük haline gelir; kimse okumadığı bir sözleşme, imzalandığında bir zamanlanmış bombadır; en denetlenen sağlık sistemlerinin çoğunda, gerçekten pratisyen doktorun onayı olmayan bir klinik kayıt, hatta geçerli bir kayıt olarak kabul edilmez.

"Güçlendirilmiş" çerçevesinde, Ajan "imza"dan başka her şeyi tamamlar: on bin sayfa bağlamı okur, dört bin satır kod yazar, otuz olası çözümü hesaplar, ve sonra bu içerikleri bir en küçük ve sadık ifadeye sıkıştırır, böylece biri "evet" veya "hayır" kararını verebilir ve kendi adını belgenin altına koyabilir.

Ajanı bir basın sözcüsü olarak düşünebilirsiniz. Başkan imzalamaktan sorumludur ve basın sözcüsünün görevi, imzadan önceki tüm hazırlıkları yapmaktır.

Bu aslında "sisteme işi kendiliğinden yaptırma" dan daha zor bir mühendislik sorunudur. İçerik oluşturma yeteneği hızla ilerliyor, ancak "sadık bir şekilde karar sıkıştırma" yeteneği çok geride kalmış durumda. Gelecekte "güçlendirilmiş pazar"da başarılı olacaklar, yüksek sorumluluklu risk senaryoları için en kısa ve en sadık karar özeti sunabilen ekipler olacaktır.

Bu cümlede gerçekten çözülmemiş olan sorun, "sadık" kelimesidir. İnsanların anlayabileceği bir özet, bilgiyi eğip bükmeden sıkıştırma işlemi sırasında sadece o zaman değerlidir. Bu durumu programatik olarak doğrulamak mümkün mü, "güçlendirilmiş gelecekte" gerçekten zor bir teknik sorundur ve şu anda çoğu insan hatta buna gerçekten başlamadı.

Bazı temel yöntemler ortaya çıkıyor:

İnsan anlayışını, orijinal içerikle uyumlu olup olmadığını doğrulamak için yeniden anlatma testi

Özet içinde az sayıda görüş veya karşı görüşü zorunlu kılmak

Karşı gerçeklik testleri yapmak ("Eğer reddederseniz, bu Ajan ne yapar?")

Çoğaltılabilirlik kontrolü (başka bir Ajan aynı bağlam üzerinden aynı özeti oluşturabilir mi?)

Bunlar hala çözülmemiştir. Ve bu sorunları ilk çözen ekipler, model yeteneklerinin kolayca aşındırılamayacağı bir kale inşa edecekler.

Yapay Zeka Davranışı için Sorumluluk Derecelendirmesi Oluşturma

Eğer "sorumluluk" yapısal bir rol oynuyorsa, o zaman Ajan'ın her bir eylemi, bir "sorumluluk seviyesi" ile ilişkilendirilmeli ve bu seviye eylemin gerektirdiği en düşük onay mekanizmasını belirlemelidir.

Şu anda, bu tür bir standart sistem geniş çapta oluşturulmamış olsa da—ancak oluşturulması muhtemel görünüyor.

Resimde yukarıdan aşağıya, düşükten yükseğe doğru 7 risk seviyesi bulunmaktadır: 1, Bilgilendirici; örneğin, okuma, özetleme, arama; tamamen otomatik 2, Geriye Dönüşümlü-özel; örneğin, taslak değiştirme, yerel dosya değiştirme; otomatik + günlüğe kaydetme 3, Geriye Dönüşümlü-paylaşılan; örneğin, PR'a yorum yapma, toplantı daveti gönderme, e-posta yazma; otomatik + kimin yolladığını belirtme 4, Finansal-sınırlı; örneğin, küçük ödemeler (limitli); limit içinde otomatik, aşması durumunda manuel onay gereklidir 5, İtibari; örneğin, adınızı kullanarak içerik yayınlama, açıkça bir gönderi yapma; kişisel onay + anlama (yeniden anlatım testi) 6, Geriye Dönüşümsüz-özel; örneğin, veri silme, ana şube üzerine gitme, yetki geri alma; manuel onay + soğuma süresi (cool-down) 7, Geriye Dönüşümsüz-paylaşılan; örneğin, para transferi, canlı yayına geçme, tıbbi karar, düzenleme bildirimi; kişisel onay + soğuma süresi + ikinci inceleme

Sonuçlarla uyumlu olan "onay duruşu", izin yorgunluğunu yönetmenin tek gerçekçi yoludur. Yüksek risk seviyelerinde, daha kısıtlayıcı olumlu katılım mekanizmalarının (örneğin yeniden anlatım testi, soğuma süresi, ikinci inceleme) eklenmesi gerekmektedir, çünkü bu senaryolarda gerçek başarısızlık modeli Ajan'ın yanlış bir öneri sunması değil, insanın düşünmeden doğrudan onay vermesidir.

Önemsiyor musun?

Yukarıdaki tüm sorular aslında sonunda bir kurucu düzeyindeki temel bir soruya işaret ediyor: İnsanlığın hâlâ bu geleceğin bir parçası olup olmadığına sizin öneminiz nedir? Şu anda birçok Birim Ürünü tasarım kararı aslında bu soruya bir tür "sessiz oylama" yapmak üzere yapılmıştır, ancak oylamayı yapanlar genellikle yaptıkları seçimi kabul etmek istemezler.

Eğer önemsiyorsanız, o zaman tasarım kısıtlamaları aslında belirsiz değildir: sorumluluk katmanlı bir sistem inşa etmeniz gerekmektedir; "reddetmeyi" birinci sınıf bir işlev olarak tasarlamalısınız; ölçüt, Birim Ürününün insanlığa verdiği özetin kalitesi olmalıdır, görevi insan müdahalesi olmadan tamamlama derecesi değil; her bir sonucu olan eylemi, düzenlenmesi zor olan belirli bir kişiye bağlamalısınız.

Bu tür teknik çalışmalar zaten gerçekçi ve mümkündür. Gerçek zorluk, böyle yapmaya istekli olup olmamaktadır—çünkü "güçlendirme odaklı" inşa yolu, gösterişli değildir ve koltuk başı modeline dayalı ekonomik modelde diğer bir yol kadar radikal değildir.

Anthropic Paradoksu: Güvenliği en çok vurgulayan, ancak en kolay insanı atlatan

Anthropic, "öznel sapma"nın bu alanda nasıl meydana geldiğini çok tipik bir dava olarak sergilemektedir. Bu, özellikle özensiz olduğu için değil, tam tersi, güvenlik konusundaki ifadesinin en net olduğu için, bu nedenle "çerçeve" ile "ürün yüzeyi" arasındaki uçurum daha çok görülebilir. "Sorumlu Ölçeklendirme Politikası" ve "Anayasal Yapay Zeka" çalışmaları, aslında eğitim aşamasındaki model davranışını kısıtlar; ancak bu modeller üzerine inşa edilen Birim Ürünü, varsayılan otonomi ayarlarına sahip, farklı bir strateji setine aittir ve o pratik "tehlike anahtarı," sadece bir düğmeye basılarak varsayılan durumdan etkinleştirilebilir.

Bu desen, çoğu yaygın programlama Birimi'nde mevcuttur, Ancak Anthropic'in durumu en açık şekilde gözlemlenir. Bu, "Anthropic Paradoksu" olarak adlandırılır: bu endüstride güvenlik çerçevesini en net şekilde yazan laboratuvar aynı zamanda "güçlendirme"den "alternatif"e geçiş için en kısa yolu da sunar ve bizim bunu görebilmemizin nedeni, çünkü ilki oldukça net bir şekildedir.

Adil olmak gerekirse, bu yılın Mart ayında "otomatik modu" (auto mode) başlattılar, manuel onay ile tehlike anahtarı arasında bir orta yol olarak. Bu modda, her eylem, icra edilmeden önce bir Sonnet 4.6 sınıflandırıcı tarafından incelenir. Resmi açıklamalarında doğrudan bir soruna işaret ettiler—bunu "onay yorgunluğu" olarak adlandırdılar ve şu bir veriyi verdiler: Kullanıcılar manuel modda gelen uyarıların %93'ünü kabul etme eğilimindedir. Bu aslında "izin yorgunluğu"nun bir niceliksel ifadesidir. Bu değerlendirme, bu makalenin analizi ile uyumludur.

Ancak çözüm yolunda, farklı bir bakış açısı sunacağım. "Otomatik Mod" insan onayını model onayıyla değiştirerek, o "yedeklemeye kayma" gradyanının sona ermediğini, sadece bir kat daha yukarı taşındığını belirtiyor. Sınıflandırıcı gerçekten tehlikeli davranışları engelleyebilir, ancak serbest bırakılan davranışlar için, somut bir kişinin gerçekten sorumlu olmadığını belirtiyor. Anthropic kendisi de, "Otomatik Mod"un riski ortadan kaldıramayacağını kabul ediyor ve kullanıcıya yalıtılmış bir ortamda çalışmasını öneriyor — yani, "sorumluluk atama" sorunu hala çözülmemiş durumda.

Açıkça görülen bir muhalefet görüşü şudur: Eğer nihai sorumluluk bireyin üzerine olacaksa, bu sadece manuel mod değil midir? Ancak manuel mod işte tükenmiş durumdadır. "İnşaatçının sorumluluğu"nun bu gradyandan kurtulabilmesinin nedeni, "aşırı onay"ın bedelini alanın değişmesidir. Mevcut yapıda, her ciddi okuma için kullanıcı bir bedel öderken, inşaatçı bu bedeli ödemek zorunda kalmaz, bu nedenle varsayılan ayarlar genellikle kullanıcı sürtünmesini azaltmaya ve riski dışsallaştırmaya eğilimlidir. "Gözden geçirilmemiş davranışın maliyetini" inşaatçıya devrettiğinizde, tüm hesaplama şekli tersine döner: İnşaatçının düşük riskli kararların imzalanma maliyetini düşürmek, yüksek riskli kararların imzalanma maliyetini artırmak için doğrudan ekonomik teşviki olacaktır. Gradyan kaybolmayacak, ancak yön değişecektir. Bugüne kadar, bu soruna en yakın olanı da dahil olmak üzere, ana laboratuvarlardan hiçbiri bunu gerçekten uygulamadı.

Eğer bir Ajan inşa ederseniz, sorumluluğu üstlenmelisiniz

Bir Ajanın açık bir amacı, insanların yerine getirdiği eylemleri gerçekleştirmekse, o zaman bu Ajanı inşa edip işleten şirket, insanlarla aynı düzeyde sorumluluk taşımalıdır. Bu ilke radikal değildir, çünkü zaten tüm "gerçek dünyada eylem yapan" sektörlere uygulanmaktadır: Toyota frenlerden sorumludur, Boeing uçuş kontrol sistemlerinden sorumludur, Pfizer ilaçlardan sorumludur, köprü mühendisleri köprülerden sorumludur, doktorlar reçetelerden sorumludur. Bu sorumluluk modeli neredeyse tüm yasal sistemlerde bulunmaktadır.

Ne var ki, şu an için yapay zeka belirli bir ölçüde bir "gizli afla" karşı karşıyadır. Model sağlayıcıları sadece araç sağlayıcıları olduklarını iddia eder; üst düzey uygulama şirketleri kendilerini sadece modelin hafifçe kaplanmış hali olarak gösterir; kullanıcılar sorumluluğu başlangıçta tümüyle feragatnamelerle reddederler. Bir Ajan sistemi zincirleme bir başarısızlık gösterdiğinde (örneğin Kanada havayolları sohbet botu olayı, Replit'in üretim veritabanını silme olayı ya da benzer şekilde 2012'deki Knight Capital işlem hatasının 45 dakika içinde 440 milyon dolar kaybı olayı gibi), sonunda zararı çeken genellikle en az sorumluluğa sahip olan taraftır — kullanıcılar. Bu sorumluluk dağıtım şekli, gerçekten "maddi ve belgeli" ilk büyük kazada devam etmeyecektir.

Çözüm aslında çok basit şekilde ifade edilebilir: Kim bir Ajansı inşa ettiyse ve otonomluğundan fayda sağladıysa, aynı zamanda çığırından çıktığında sonuçları üstlenmelidir. Sorumluluk gerçekten inşa ediciye düştüğünde, izin uyarıları artık "sürtünme" olarak değil, "sigorta" olarak görülür. O tehlikeli anahtar yeniden adlandırılacak, varsayılan ayarlar da buna göre değişecektir.

Kendi sistemlerinin sorumluluğunu üstlenmeye istekli olup olmadıkları, gerçek bir endüstrinin ve bir "çıkartmacı endüstrisinin" ayırt edilmesinde kilit bir rol oynar.

Denetim, "Yönlendirme Mekanizması" Olarak

Piyasa kendiliğinden "gelişmiş bir geleceğe" doğru ilerlemeyecektir. Gerçek anlamda yönlendirici rol oynayan genellikle denetim kurumları ve sigortacılar olurken, buna genel olarak bakıldığında, bu genellikle kötü bir şey değildir.

Avrupa, muhtemelen en erken regülasyon kanalı haline gelecektir. AB, GDPR, "AI Yasası", DMA gibi kurallar koyma konusunda açık bir örneğe sahiptir ve genellikle dünya çapında standartları takip edilen kurallar belirler çünkü AB olmayan pazarlar için ayrı bir ürün seti sürdürmek, genellikle doğrudan AB standartlarına uymaktan daha yüksek maliyetlidir. "Tüm gerçek sonuç doğuran eylemlerin sonunda adlandırılan insanlar tarafından ve red hakkına sahip olarak onaylanması gerektiğine" dair bir alt çizgi, daha çok araba çarpışma testi standartlarına yakındır ve teknoloji ilerlemesinin engellenmesi yerine.

Daha doğrudan bir itki, sigorta endüstrüsünden gelmektedir. Hata ve ihmal sorumluluk sigortası (E&O), yönetici sorumluluk sigortası (D&O) ve ağ sigortası primlerini fiyatlandıran taşıyıcılar, bir soruya cevap vermek zorundadır: Bir Ajans, kullanıcı izniyle hareket ederken zarara neden olduğunda sorumluluk nasıl belirlenir? En kolay tazmin edilebilir yapıyı oluşturmanın yolu, bir halka içinde adlandırılmış bir insanın olmasıdır. Bu nedenle, bu tür bir yapıya sahip olmayan sistemlerin sigorta maliyeti doğal olarak daha yüksek risk primini yansıtacaktır. Kuralları kendi belirlemek isteyen ve bunun yerine kuralları düzenleyiciler veya sigortacılar yerine getiren inşaatçılar için, zaman perdesi aslında çok geniş değildir.

Ana Akım Anlatının Örttüğü Piyasa Mantığı

Mevcut ana akım anlatı, dikey alanlardaki Ajans'ın, dokuzda yaklaşık yarısını oluşturan endüstrideki işlerin yarısını emeceğini ve değerin az sayıda dikey entegre Ajans şirketine yoğunlaşacağını varsayar – hukuk alanında bir "Anthropic", tıp alanında bir "Anthropic", muhasebe alanında bir "Anthropic". Geçtiğimiz bir buçuk yılın neredeyse tüm milyarlarca dolarlık AI finansmanı, belirli bir ölçüde bu varsayıma dayanmaktadır. Bu, ticari bir ceket giymiş "alternatif mantık"tır, ancak piyasa yapısı değerlendirmesi yanlıştır ve bu hata doğrudan sermaye tahsisini etkiler.

"Gelişmiş" çerçeve, başka bir pazar biçimini ima eder. Eğer her bir gerçek sonuç doğuran eylem sonunda bir adlandırılmış bir insana düşmelidir, o zaman satılan birim "özerk Ajans" değil, "insan yeteneğinin büyütülmüş hali"dir. Üç katı vaka işleyebilen ve daha yüksek doğruluk oranına sahip doktor alıcıdır; aynı şekilde on kat daha fazla işlem akışına sahip avukat, beş kat hızda teslimat yapan mühendis ve arkasındaki muhasebeci, sigortacı, analist, mimar, cerrah, öğretmen, kredi memuru, gazeteci ve eczacı da alıcıdır.

Bu pazarın daha büyük olmasının nedeni, merkezileşmeye değil, ölçeklenebilir dağıtıma dayanmasıdır. Mantıklı bir değerleme referans noktası, kurumsal yazılım bütçesi olmamalıdır, ancak "büyütülmüş" işgücü maaş toplamı olmalıdır. Küresel kurumsal IT harcamaları yaklaşık olarak yılda 4 trilyon dolar civarındadır (Gartner verileri); ancak global beceriye sahip, belgelendirilmiş ve bilgi işçilerinin toplam maaşı, yaklaşık olarak bir büyüklük sırası daha yüksektir, yaklaşık 40 trilyon dolar (uluslararası İşçi Örgütü verilerine dayanarak ve düşük becerili kısımların tahmini dışında). AI şirketleri elbette ki tüm maaş havuzunu almayacak, ancak bu şirketler bir kısmını alabilirler. Tek haneli yüzdeleri bile yakalasalar, bugünün tüm kurumsal yazılım pazarıyla eşdeğer ölçekte bir pazarı desteklemeye yeterli olacaktır, ancak bu sadece bir alt sınır, üst sınır değil. Sonuçta, pazarın büyüklüğü, bir temel tasarım kararına bağlıdır: sorumluluk nerede olmalıdır.

Son kazanan, daha çok bir araç gibi görünmektedir ve bir "artırılan insan" üzerine fiyatlandırılmıştır, "yedeklenen pozisyon" üzerine değil; mevcut uzmanlık akışlarına gömülüdür, onların yerine geçmez; binlerce hatta on binlerce olacaklar; birkaç tane değil. Bu pazarın nihai şekli, daha çok bir SaaS'e benzerken, bir bulut altyapısı gibi değildir. Şu anda, henüz dağıtım eğrisinin çok erken bir aşamasında bulunmaktayız; yaygın penetrasyon oranı eğrisi grafiği, on yıl daha uzayacak bir koordinat düzleminde yalnızca en sol çizgide yer almaktadır. Ve bu "pikseller"in şekli, şu anda mevcut birkaç üründeki tasarım seçeneklerinden belirlenmektedir.

Seçim: İnsanları sorumlu tutmak mı, yoksa insanları ortadan kaldırmak mı?

İnsanların sorumluluğu devam ettirmesi, sistem mimarisinin "insanları artırmak" etrafında şekillenmesine zorlar; ve insanları sorumluluk zincirinden çıkardığınızda, sistem "yedekleme"ye doğru kaymaya başlar, herkes, eğer açıkça sorulursa, muhtemelen bu sonucu tercih etmeyecektir.

Gerçek sorun, bazı davranışların tamamen otomatik hale getirilip getirilmemesi değil - yukarıdaki çerçeve zaten buna izin verdi, örneğin sadece bilgi okuma türündeki işlemlerin otomatikleştirilebileceğini kabul etti. Anahtar nokta, risk kademeli olarak arttıkça, bu sınırın ne şekilde hareket edeceği ve bunu kimin belirleyeceğidir. Şu anda mevcut olan en gelişmiş Ajan sistemlerinde, "artırma"dan "etkin yedekleme"ye kayma yolu son derece kısadır, genellikle sadece bir parametre anahtarı veya bir varsayılan ayar gereklidir. Gerçekten önemli olan çalışma, bu anahtarın her zaman bir "riskli seçenek" olarak görülmesini sağlamaktır ve kolaylık sürücülüğü altında yavaş yavaş varsayılan hale gelmesine izin vermemektir.

Eğer oluşturanlar bu işi proaktif olarak yaparsa, nispeten sorunsuz bir "artırılmış geleceğe" doğru ilerleyebiliriz; bunu yapmazlarsa, düzenleyici kurumlar ve sigorta şirketleri onlar adına yapacaklar ve sonuç yine aynı noktaya ulaşacaktır.

Önemli olup olmamak, bir tasarım seçimidir. Ve bu seçim, inşa ettiğiniz şeyi belirleyecektir. Günümüzde bir Ajan ürünü piyasaya süren her kurucunun, karşı karşıya kalmak istemediği bir soruyu açıkça yanıtlaması gerekmektedir: Enhance mi yoksa Replace mi inşa ediyorsunuz?

[Orijinal Tweet Bağlantısı]

BlockBeats Resmi Topluluğuna Katılın:

Telegram Abonelik Grubu: https://t.me/theblockbeats

Telegram Sohbet Grubu: https://t.me/BlockBeats_App

Twitter Resmi Hesabı: https://twitter.com/BlockBeatsAsia