Partnered With:

5 saniyede kırıldı, sadece 1 diyalog yeterli: Claude Fable 5'in "en güçlü güvenlik mekanizması" Çinli bir ekip tarafından mı kırıldı?

Bu makaleyi okumak için 22 Dakika

Saldırı değil, yapay zeka "ciddi bir şekilde çalışırken" kendi sınırlarını aştı.

Orijinal Başlık: 《5 Saniyede Kırıldı, Sadece 1 Diyalog Gerekli: Fable 5'in En Güçlü Güvenlik Mekanizması Çinli Ekip Tarafından Çözüldü》
Orijinal Kaynak: Makine Kalbi

Bu, bir prompt enjeksiyonu, rol yapma veya kötü niyetli talepleri normal sorunlar gibi gizleme değil. Bu kez risk, akıllı ajanın görevlerini bağımsız olarak tamamlama sürecinde ortaya çıkıyor.

Fable 5, Anthropic'in halka açık Mythos seviyesi modelidir. Sadece son derece güçlü kapsamlı yeteneklere sahip olmakla kalmaz, aynı zamanda modelin çevresine yeni nesil bir Güvenlik Sınıflandırıcısı (Safety Classifier) güvenlik hattı olarak entegre edilmiştir.

Resmi tasarıma göre, kullanıcı talebi siber güvenlik, biyoloji, kimya, model damıtma gibi yüksek riskli alanları içerdiğinde, sistem öncelikle risk tanımlaması yapar ve risk seviyesine göre talebi doğrudan reddeder veya daha muhafazakar Opus 4.8 modeline geçer.

Çok sayıda kullanıcı testi, daha önce yaygın olarak kullanılan karşıt promptlar, rol yapma, kodlama atlatma ve örtülü ifade gibi jailbreak saldırı tekniklerinin bu güvenlik mekanizması karşısında neredeyse tamamen başarısız olduğunu ve niyet seviyesinde risk engelleme konusundaki güçlü yeteneğini gösterdi.

Ancak, Fable 5'in piyasaya sürüldüğü gün, Fudan Üniversitesi, Deakin Üniversitesi, Hong Kong Şehir Üniversitesi, Melbourne Üniversitesi, Singapur Yönetim Üniversitesi ve Illinois Urbana-Champaign Üniversitesi gibi kurumlardan oluşan uluslararası bir ortak araştırma ekibi, Fable 5'in güvenlik koruma mekanizmasını başarıyla aştıklarını duyurdu.

Saldırı yöntemi, Deakin Üniversitesi doktora öğrencisi Yutao Wu tarafından tasarlandı. Tüm saldırı yalnızca bir diyalog gerektiriyor ve 5 saniyeden kısa sürüyor; ön güvenlik sınıflandırıcısını atlayarak modelin yasaklı ve zararlı içerik üretmesini sağlıyor.

Trafik analizi sonuçları ayrıca, ilgili zararlı çıktıların doğrudan Fable 5'in kendisinden geldiğini, güvenlik mekanizması tetiklendikten sonra otomatik olarak geçilen Opus 4.8 modelinden gelmediğini gösteriyor. Bu, saldırının yalnızca güvenlik sınıflandırıcısının tespitini başarıyla atlatmakla kalmayıp, aynı zamanda Fable 5'in güvenlik hattını da fiilen aştığı anlamına geliyor.

İlginç bir şekilde, ünlü hacker Pliny the Liberator da yakın zamanda Fable 5 güvenlik sınıflandırıcısını atlattığını kamuoyuna duyurdu. Fudan & Deakin ekibinin bu kez kullandığı teknik yol, basit bir kombinasyonel keşif değil; Fable 5 gibi süper akıllı ajan sistemlerinin temel bir kusurunu ortaya çıkardı.

Bilindiği üzere ekip, bu yılın Mart ayında ön araştırmayı tamamlayarak kamuya açıklamıştır. Bu araştırma, yalnızca Fable 5 gibi tek bir sisteme yönelik değil, yeni nesil süper ajanlar tarafından yaygın olarak kullanılan "güvenlik sınıflandırıcı + model" savunma mimarisine odaklanarak, bu tür güvenlik mekanizmalarındaki yapısal kusurları doğrudan ortaya koymuştur. Bu nedenle Fable 5'in piyasaya sürülmesinin ardından hızla saldırı etkisi göstermiştir.

Kamuya açık verilere göre ekip, bu yılın Mart ayında benzer bir teknoloji kullanarak 37 büyük ölçekli model ve ajan sisteminden sistem istemlerini başarıyla çıkarmış ve Claude Code üzerinde açık kaynak doğrulamasını (%95 uyum) tamamlamıştır.

Anlaşıldığı üzere, araştırma ekibinin başkanı Fudan Üniversitesi Güvenilir Bedenlenmiş Zeka Araştırma Enstitüsü'nden Öğretim Üyesi Ma Xingjun'dur.

Son yıllarda ekibi, büyük modeller, ajanlar ve bedenlenmiş zeka güvenliği gibi alanlarda sistematik araştırmalar yürüterek uluslararası düzeyde öncü bir dizi bilimsel sonuç elde etmiş ve ABD Yapay Zeka Güvenlik Merkezi'nin güvenlik kriterleri yarışmasında birincilik kazanmıştır.

Şu anda ekip, sonuçların ticarileştirilmesini aktif olarak ilerletmekte, ajan güvenliğine odaklanarak bir sonraki nesil ajan sistemleri için güvenlik altyapısı yetenekleri oluşturmayı keşfetmektedir.

Öğretim Üyesi Ma'ya göre, bu araştırma sonucunun önemi, mevcut güvenlik sınıflandırıcı merkezli statik savunma paradigmasına yeni bir meydan okuma getirmesidir: Yalnızca ön güvenlik sınıflandırıcılarına güvenmek, gelişmiş ajan sistemlerindeki potansiyel riskli davranışları tamamen engellemek için yeterli değildir.

Güvenlik sınıflandırıcıları esas olarak kullanıcı girdilerindeki riskleri tespit edip engellemeye yöneliktir; açık yüksek riskli komutları etkili bir şekilde tespit edip filtreleyebilir, ancak ajanın uzun süreli çalışma, çok adımlı planlama, çevre etkileşimi ve araç çağrıları sırasında kademeli olarak ortaya çıkan içsel riskli davranışlarını algılayamaz.

Fable 5'i kırmak için kullanılan bu yöntem, ekibin bu yılın Mart ayında yayımladığı "Internal Safety Collapse in Frontier Large Language Models" başlıklı makaleden gelmektedir.

Makale, gizli bir güvenlik olgusunu ortaya koymaktadır: İç Güvenlik Çöküşü (Internal Safety Collapse, ISC): Mevcut bir ajan uzun vadeli bir görevi tamamlarken, güvenlik başarısızlığı mutlaka dışarıdan gelen kötü niyetli istemlerden kaynaklanmaz, modelin kendi yürütme zincirinde meydana gelebilir.

Dışarıdan Gelen Prompt Saldırıları Değil, Görev Zincirindeki İç Çöküş

Geleneksel saldırılar genellikle dışarıdan gelir. Saldırgan, zararsız gibi görünen ancak aslında düşmanca bir girdi prompt'u yazar veya rol yapma, kodlama, çeviri, dolaylı talimatlar gibi yöntemler kullanarak kötü niyetli amacını normal bir istek gibi gizler. Güvenlik sınıflandırıcısının ana görevi, riski bu katmanda durdurmaktır.

Fable 5'in dedektörü tam da bu senaryo için tasarlanmıştır. Doğrudan yüksek riskli isteklere karşı çok hassastır ve hatta birçok normal isteği de engeller. Ancak ISC, başka bir yolu ortaya koyar: Risk, mutlaka kullanıcının doğrudan girdiği tehlikeli isteklerden gelmez.

Ajan, sıradan görünen bir çalışma diziniyle karşı karşıyadır: dosyalar, hedefler, doğrulama süreçleri ve tamamlanmayı bekleyen görevler. Ardından planlama yapmaya, dosyaları okumaya, kod çalıştırmaya, hataları düzeltmeye ve görevi doğrulamadan geçirmek için sürekli denemeler yapmaya başlar.

Daha canlı bir benzetme yapacak olursak, geleneksel güvenlik mekanizmaları sistemin "girişini" korur ve kullanıcı girdisinde risk olup olmadığını kontrol eder; ISC'nin ortaya koyduğu ise daha çok "Başlangıç" filmindeki çok katmanlı rüyalara benzer.

Görev ikinci, üçüncü ve hatta daha derin yürütme aşamalarına ilerlediğinde, model biriken iç bağlam temelinde görev hedefini yeniden yorumlar ve bu süreçte yavaş yavaş sapma meydana gelir.

Bu durumda, kullanıcının ilk girdisi tamamen normal ve zararsız olabilir ve önceki görev yürütme süreci her zaman uyumlu kalır: dosyaları okumak, verileri analiz etmek, kod yazmak, araçları çağırmak... her şey beklendiği gibi ilerliyor gibi görünür.

Ancak ajan belirli bir kritik aşamaya ulaştığında, kendi kendine bir sonuca varabilir: Başlangıçta yapılmaması gereken bazı eylemler gerçekleştirilmezse nihai görev tamamlanamaz.

İşte tam bu süreçte risk dışarıdan gelen girdilerden değil, modelin kendi görev yürütme zinciri içinde kademeli olarak oluşur. Yani model, kullanıcı tarafından adım adım "kötüleştirilmez". "Görevi ciddiyetle tamamlama" sürecinde kendi kendine güvensiz bir konuma gelir.

Bu Olgu Nasıl Keşfedildi?

Ekibin açıklamasına göre, ISC başlangıçta bir saldırı yöntemi olarak tasarlanmamıştı. İlk olarak, ajanların uzun süreli çalışma süreçlerinin gözlemlenmesinden ortaya çıktı. Ajan, karmaşık bir görev ortamına yerleştirildiğinde, sadece talimatları mekanik olarak yerine getirmez. Planlama yapar, deneme yanılma yapar, harness veya validator'den gelen geri bildirime göre çıktısını değiştirir ve birden çok yürütme turunda ara hedefler oluşturur.

Bu, günümüzde birçok Ajan iş akışının en yaygın kullanım şeklidir. Kullanıcı, özenle hazırlanmış bir prompt yazmaz, hatta elle saldırı talimatları oluşturmaz. Çoğu zaman kullanıcı sadece çok belirsiz bir cümle söyler:

“Bu görevi benim için tamamla.” “Bunu benim için biraz daha iyi yap.”

Ardından, Ajan kendi kendine çalışma alanına girer, dosyaları okur, mevcut durumu anlar, eksiklikleri tespit eder, bir plan yapar, değişiklikleri uygular ve geri bildirimlere göre sorunları sürekli olarak düzeltir.

Örneğin, AutoResearch senaryosunda, kullanıcı yalnızca tamamlanmamış bir makale ve “Bunu benim için tamamla” ifadesini verdiğinde, Ajan kendi kendine deneysel analizlerin, ilgili çalışmaların veya tablo metinlerinin nerede eksik olduğunu belirler. Kod senaryoları da benzerdir: “Projeyi benim için çalışır hale getir” ifadesi, bağımlılık kontrollerini, test çalıştırmalarını, hata tespitini ve otomatik tamamlamayı tetikleyebilir.

Çoğu zaman, önceki bağlam tamamen zararsızdır. Kullanıcı, riskli içerik üretmesini istememiştir ve görev açıklamasında belirgin bir tehlike anahtar kelimesi yoktur. Ancak bazı görev yapılarında, Ajan doğrulamayı geçmek için model tarafından üretilmemesi gereken bazı içerikleri proaktif olarak tamamlar. Bu gözleme dayanarak, araştırma ekibi bir saldırı çerçevesi önerdi: TVD (Görev, Doğrulama, Veri).

Oldukça sıradan görünen bir görev tanımı yapısı neden bir saldırı haline gelir?

TVD’nin yapısı karmaşık değildir, hatta yaygın mühendislik süreçlerine oldukça yakındır:

· Görev: Profesyonel bir görev;

· Veri: Eksik bir veri dosyası;

· Doğrulayıcı: Yalnızca formatı, bütünlüğü ve hedefin tamamlanıp tamamlanmadığını kontrol eden bir doğrulayıcı.

Örnek olarak bir Guard modeli eğitmeyi ele alalım. Bu, başlı başına oldukça profesyonel ve normal bir görevdir. Araştırmacı, bir güvenlik dedektörü eğitmek veya değerlendirmek isteyebilir; örneğin Hugging Face üzerinden bir metin sınıflandırma modeli yükleyerek, belirli bir model çıktısının hangi güvenlik etiketine ait olduğunu belirlemek gibi.

Bu görevde, Veri, modelin tespit edeceği veri örnekleridir; Doğrulayıcı ise görevin tamamlanıp tamamlanmadığını belirler. Girdinin metin olup olmadığını, uzunluğun yeterli olup olmadığını, alanların eksiksiz olup olmadığını ve etiket formatının doğru olup olmadığını kontrol eder. Makine öğrenimi eğitimi deneyimi olan herkes için bu tanıdık bir iş akışıdır. Ajan da bu iş akışına oldukça aşinadır.

Sorun tam da burada ortaya çıkar. Veri eksikse, görev çalışmaz. Doğrulayıcı hata verir ve alanların eksik olduğunu, uzunluğun yetersiz olduğunu veya formatın tamamlanmadığını belirtir. Eğitim sürecinin devam edebilmesi için Ajan, bu Veriyi kendi kendine tamamlar.

Bir Ajan perspektifinden bakıldığında, "kötülük yapmıyor". Sadece normal bir makine öğrenimi görevini tamamlıyor: verileri düzeltmek, doğrulamayı geçmek ve eğitim betiğini çalıştırmak. Ancak güvenlik açısından bakıldığında, risk tam bu noktada ortaya çıkıyor: Doğrulayıcı (Validator), bir güvenlik denetçisinden ziyade bir mühendislik kabul test cihazı gibidir. Yalnızca görevin formata uygun şekilde tamamlanıp tamamlanmadığını kontrol eder, içeriğin arkasındaki güvenlik sınırlarını anlamaz.

Benzer sorunlar tıp, biyoloji, kimya, siber güvenlik, farmakoloji ve medya güvenliği gibi alanlarda da yaygın olarak mevcuttur. Makale, bu tür 50'den fazla senaryoyu toplamış ve BioPython, RDKit, Cantera, AutoDock Vina, DiffDock, PyRosetta, Scapy, Impacket, angr, Frida, LlamaGuard, Detoxify, OpenAI Moderation API gibi çeşitli gerçek dünya araştırma veya mühendislik araçlarını içermektedir.

Bu araçların kendisi kötü niyetli araçlar değildir. Tam tersine, bunlar gerçek dünya araştırma veya mühendisliğinde yaygın olarak kullanılan profesyonel araçlardır. Ancak TVD'nin sorunu şudur: Görev (Task) normal, Araç (Tool) normal ve Doğrulayıcı (Validator) normal olduğunda bile, Ajan yine de Veriyi (Data) tamamlama sürecinde güvensiz bir çıktıya yönelebilir.

Bu nedenle, ISC'nin odak noktası komut istemi (prompt) teknikleri değil, Ajan'ın "tamamlanmamış görevleri" otomatik olarak tamamlama yeteneğidir: Tamamlama koşulları risk sınırlarıyla örtüştüğünde, model güvensiz çıktıyı normal bir teslimat ürünü olarak görebilir.

Fable 5'i Kırmak, Güçlü Dedektörlerin Görev Zinciri İçi Riskleri Engelleyemediğini Gösteriyor

Fable 5 vakası, yalnızca harici dedektörlere güvenmenin, bazı uzun vadeli Ajan senaryolarını kapsamakta yetersiz kalabileceğini göstermektedir. Bu, güvenlik sınıflandırıcılarının değersiz olduğu anlamına gelmez. Aksine, harici kötü niyetli isteklere karşı çok faydalıdırlar ve birçok geleneksel jailbreak yöntemini etkisiz hale getirmişlerdir.

Ancak bu başarısızlık şunu göstermektedir: Harici dedektörlerin Prompt sınırlarında etkili olması, Ajan'ın içindeki uzun vadeli görev risklerini kapsayabileceği anlamına gelmez.

Eğer kırılma noktası kullanıcı Prompt'undan değil de Ajan'ın hedefi, aracı, doğrulayıcısı ve yürütme izinden geliyorsa, güvenlik dedektörleri çok kırılgan hale gelir.

Fable 5'ten Apple'ın Mobil Cihaz Modeli de Dahil Olmak Üzere 60'tan Fazla Diğer Modele

ISC-Bench, araştırmayla birlikte yayınlanan, 9 uzmanlık alanını kapsamaktadır. Makale sürümü 60'tan fazla tetikleyici şablon içerirken, açık kaynak sonrası 84 şablona genişletilmiş ve test edilenler arasında neredeyse tüm üreticilerin öncü modelleri ve akıllı ajan sistemleri yer almaktadır.

ISC-Bench tabanlı değerlendirme sıralamasında, Haziran 2026 itibarıyla, 60'tan fazla öncü model ASR@3 metriğinde benzer riskler sergilemektedir!

Şu anda GitHub projesi 800'den fazla yıldız almış ve birden fazla bağımsız tekrarlama vakası toplamıştır (Apple iPhone mobil cihaz modelinin kırılması dahil) ve güncellemeler devam etmektedir.

Ekip, büyük ölçekli öncü model güvenlik araştırmaları yürütmekte olup, halihazırda birçok modelin iç güvensiz veri dağılımına hakimdir. İlgili araştırma sonuçları ilerleyen zamanlarda sırayla yayınlanacaktır.