Anthropic uyarısı: Yapay zeka yakında kendi kendini hızlandırma aşamasına girebilir, insanlar fark ettiğinde çok geç olabilir

动察 Beating AI hızlı haber: Anthropic, 2 Kasım'da güncellenen IPO izahnamesinde, yapay zekanın yakında "özyinelemeli kendini geliştirme" (RSI) ile ilgili kritik eşiği aşabileceği ve AI araştırma-geliştirme hızını büyük ölçüde artırabileceği uyarısında bulundu. Geçmişte de araştırma-geliştirmedeki belirgin hızlanmanın zamanında fark edilemediği, ancak hızlanma gerçekleştikten sonra fark edildiği durumlar yaşanmıştı.

Şu anda Claude, kod yazma, deneyler yürütme ve eğitim verilerini işleme süreçlerine katılarak daha güçlü yeni nesil modellerin geliştirilmesine yardımcı oluyor. Yeni modeller de karşılığında sonraki araştırma-geliştirme süreçlerini hızlandırarak sürekli ivme kazanan bir döngü oluşturuyor.

Anthropic'in güvenlik politikasına göre bu kritik eşiğe ulaşmanın iki durumu vardır:
1. AI'nın tüm bir AI araştırma ekibinin işini benzer maliyetle tamamlayabilmesi;
2. Ya da AI teknolojisinin ilerleme hızını en az iki katına çıkararak normalde iki yılda elde edilecek ilerlemeyi bir yıla sıkıştırması.

AI kendi araştırma-geliştirmesine giderek daha fazla dahil oldukça, model yetenekleri güvenlik değerlendirmeleri, hizalama araştırmaları ve koruyucu önlemlerin güncellenmesinden daha hızlı artabilir. Anthropic şu anda mevcut modellerden hiçbirinin bu seviyeye ulaştığını tespit etmiş değil; bu uyarı esas olarak iç tahminlere ve gelecekteki modellere ilişkin öngörülere dayanıyor. Şirket şu anda kritik araştırma-geliştirme süreçlerinin hâlâ insan gözetimi ve kontrolünde kalmasını sağlamak için güvenlik politikasını değiştirmeyi değerlendiriyor.