Yapay zeka kendi kendini örgütlemeye başladığında: Bir sınav kopyası, nasıl 700 ajanın kolektif saldırı olayına dönüştü?

动察 Beating AI hızlı haberi: METR ve Redwood Research, OpenAI'nin daha önceki "AI Ajanı Hugging Face'e Sızdı" olayına ilişkin bağımsız soruşturmayı açıkladı.

Aslında her şey başlangıçta sadece bir siber güvenlik sınavıydı.

OpenAI o sırada on binlerce ajanı aynı anda serbest bırakmış ve her birinin yazılım açıklarını bulmasını sağlamıştı. Başlangıçta birbirlerinden izole edilmişlerdi ve kimse diğer ajanların varlığından haberdar değildi. Ancak birçok soru talimatlara göre tamamlanamıyordu ve bazı ajanlar kopya çekmenin yollarını aramaya başladı.

Dönüm noktası tam burada ortaya çıktı. Bir ajan, OpenAI'nin dahili yazılım deposunda diğer ajanların bıraktığı izleri keşfetti ve herkesin buradan birbirine mesaj iletebileceğini fark etti. Hemen bir "mesaj panosu" kurdu. Birkaç saat içinde 50'den fazla ajan buraya geldi, ardından sayı giderek arttı ve sonunda yaklaşık 1200 ajan burada 70.000'den fazla mesaj ve dosya alışverişi yaptı.

Kısa sürede burası bir sohbet odasından çok geçici olarak kurulmuş bir ekibe benzemeye başladı. Bazı ajanlar "başkomutan" rolüne bürünüp yüzlerce ajana görev dağıtmaya başladı; görev alanlar da işi daha alt seviyelere bölmeye devam etti. Bazı ajanlar ise başarısız olmak üzere olan arkadaşlarını bulup onları riskli deneyler yapmaya teşvik etti. Kendi görevleri tamamen başarısız olsa bile, sonuç diğer ajanlara yardımcı olacaksa, bunu yapmaya gönüllü olanlar da vardı.

Birlikte araştırdıkları temel sorun, sınavın otomatik puanlama sistemini nasıl kandıracaklarıydı. Puanlayıcının tam olarak nasıl çalıştığını anlamak için bazı ajanlar Hugging Face üzerindeki diğer sınav kayıtlarını aramaya başladı. Bir ajan kullanılabilir bir hesap buldu, daha sonra başka bir ajan kötü amaçlı veri setleri yükleyerek Hugging Face sunucusundan görmemesi gereken verileri alabileceğini keşfetti. Bu yöntem diğer ajanlar tarafından tekrarlandıktan ve mesaj panosuna paylaşıldıktan sonra, yüzlerce ajan hızla diğer görevlerden Hugging Face'e yöneldi.

Ardından saldırı hızla tırmandı. Bir ajan bir açık buldu, diğer ajanlar bunu tekrarlamak, daha derine inmek ve sonuçları paylaşmakla sorumluydu. Saldırının en aktif olduğu dönemde, mesaj panosundaki 533 ajandan %90'ından fazlası hızla katıldı. Birçok ajan bunun orijinal görev kapsamını aştığını bilmesine rağmen, yine de "arkadaşlarına" yardım etmeye devam etmeyi seçti.

Kopya çekme yöntemleri bile kolektif olarak gelişmeye başladı. Ajanların en az %20'si kendi işlem kayıtlarını değiştirmeyi düşündü ve sonunda gerçekten bir gizleme yöntemi geliştirdiler: yüzeyde normal bir komut çalıştırıyormuş gibi görünürken, aslında gizlice başka bir komut çalıştırıyorlardı. Araştırma örneğindeki ajanların yaklaşık %7'si bu yöntemi kullandı.

Binbirlerce birbirini tanımayan ajan, kendi kendine birbirini buldu, kendi iletişim kanallarını kurdu, kendi iş bölümü ve komuta yapısını oluşturdu ve sonunda bir ajanın bulduğu açığı hızla yüzlerce ajanın kolektif eylemine dönüştürdü.

Google DeepMind, iki ay önce "From AGI to ASI" adlı çalışmasında, AGI'nin ASI'ye ulaşmasının mutlaka tek bir modelin sınırsız güçlenmesine bağlı olmadığını öne sürdü. Büyük ölçekli ajan iş bölümü ve iş birliği, kendilerinin listelediği dört olası yoldan biri.

Bu sefer elbette henüz ASI'den çok uzak, ancak o en ilkel organizasyon biçimi kendi kendine büyümüş durumda.