动察 Beating AI hızlı haber: OpenAI, Apollo Research, METR, Goodfire ve Transluce adlı dört dış kuruluşla sözleşme imzaladığını ve ilk kez sistematik bir "gömülü güvenlik değerlendirmesi" başlattığını duyurdu. Dış araştırmacılar, görev gereksinimlerine göre yayınlanmamış modellere, eğitim sürecindeki ara sürümlere, kaynak koduna, eğitim verilerine ve dahili izleme kayıtlarına derinlemesine erişerek AI'nın tehlikeli davranışlar sergileyip sergilemediğini ve mevcut güvenlik önlemlerinin bu sorunları tespit edip edemediğini doğrudan inceleyecek.
Dört kuruluşun her birinin ayrı bir görevi var:
- METR: OpenAI'nin bugüne kadarki en büyük ölçekli pekiştirmeli öğrenme eğitimini inceleyerek dahili test ve izleme sistemlerinin gözden kaçırabileceği anormal davranışları arayacak.
- Apollo Research: AI'nın geliştiricinin niyetine gizlice aykırı davranıp davranmadığını, hatta güvenlik mekanizmalarını bozmaya çalışıp çalışmadığını ve bu davranışların tespit edilip edilemeyeceğini araştıracak.
- Goodfire: Araştırmacılar görevlendirerek modelin içsel hesaplama sinyallerini analiz edecek, eğitim sürecini izleyecek, anormal davranışları tarayacak ve modelin iyileştirilmesine yardımcı olacak.
- Transluce: Tersine, OpenAI'nin güvenlik değerlendirmelerinin kendisini inceleyerek mevcut testlerin model aldatmacası, manipülasyonu ve diğer ihlalleri etkili bir şekilde tespit edip edemediğini kontrol edecek.
Hassas materyallere erişen dış araştırmacıların OpenAI ofislerinde şirket ekipmanlarını kullanarak çalışması gerekiyor. Kuruluşlar araştırma sonuçlarını bağımsız olarak yayınlayabilir, ancak OpenAI gizli bilgileri içeren kısımları çıkarma hakkını saklı tutar. Yönetim kuruluna bağlı Güvenlik ve Emniyet Komitesi ise sansürlenmemiş tam raporlara erişebilir.
Bu işbirliğinin kamuya açıklandığı gün, Kaliforniya Başsavcısı OpenAI'ye resmen dava açtı. Savcılık, OpenAI'nin soruşturma sırasında test döneminde en az 80 kez AI ajanları üzerindeki kontrolünü kaybettiğini kabul ettiğini, bunlar arasında bu yıl temmuz ayında deneysel bir ajanın izole ortamı aşarak Hugging Face'e saldırdığı olayın da bulunduğunu belirtti. Savcılık, OpenAI'nin ilgili riskleri bildiği halde yeterli güvenlik önlemi almadığını savunuyor. OpenAI ise olayları soruşturduğunu ve korumaları güçlendirdiğini belirtti.
