Anthropic'in yeni güvenlik önlemi: Claude her yanıtından sonra sohbet kayıtlarınızı arka planda da denetleyecek

动察 Beating AI hızlı haber: Anthropic, "öz değerlendirme" adı verilen bir güvenlik mekanizması açıkladı. Bu yılın Haziran ayından itibaren Claude, kullanıcıya yanıt verdikten sonra arka planda az önceki konuşmayı kontrol ederek dolandırıcılık, siber saldırı gibi kötüye kullanım riskleri olup olmadığını değerlendiriyor ve bir risk seviyesi belirliyor. Kullanıcılar bu adımı göremiyor ve sistem bu nedenle yanıtı hemen engellemiyor.

Geçmişte Anthropic, ihlalleri tespit etmek için esas olarak ek güvenlik sınıflandırıcılarına güveniyordu. Artık Claude, az önce işlediği konuşma bağlamını kullanarak ön incelemeyi kendisi yapabiliyor. Ortalama olarak yalnızca yaklaşık 10 Token daha fazla üretmek gerekiyor ve ek çıkarım hesaplama gücü %2'nin altında.

Bu mekanizma, geleneksel güvenlik sistemlerinin gözden kaçırdığı sorunları şimdiden tespit etti. Bu yılın Ağustos ayında tek bir API müşterisi, çocukların cinsel sömürüsüyle ilgili 100 binden fazla risk uyarısını tetikledi. Eylül ayında sistem, birilerinin Claude Code'u kullanarak onlarca mağduru hedef alan romantik dolandırıcılığı otomatik olarak gerçekleştirdiğini de tespit etti. Anthropic soruşturmanın ardından ilgili hesapları kapattı ve önceki olayı ABD'deki ilgili kurumlara bildirdi.

Ancak Claude kötü niyetli davranışları her zaman tespit edemiyor. Anthropic, olağan korumaların kapatıldığı 24 siber saldırı testinde öz değerlendirmeyi gerçek zamanlı engelleme için kullanmayı denediğinde, 13 saldırı hâlâ başarılı oldu. Bu nedenle bu mekanizma şu anda esas olarak gerçek zamanlı kullanıcı işlemlerini engellemek için değil, sonradan izleme için kullanılıyor.