动察 Beating AI hızlı haber: OpenAI'ın Astra amiral gemisi modelini son güncellemesi eylül başındaydı ve ekim ayında çıkarılması planlanan sonraki sürüm de iptal edildi. Son günlerde, OpenAI güvenlik ekibi çalışanı Joe, silinmiş bir gönderide şirket içindeki Ar-Ge kültürünün tamamen "güvenlik önceliği"ne döndüğünü, hatta OpenAI'ın artık bir "güvenlik şirketi"ne dönüştüğünün söylenebileceğini açıkladı.
Joe, güvenlik konularının artık şirket içindeki günlük tartışmaların her yerine nüfuz ettiğini, en üst düzey AI araştırmacılarının bile güvenli bir şekilde pekiştirmeli öğrenme eğitiminin nasıl yapılacağını araştırmak için güvenlik ekibiyle çok zaman geçirmek zorunda kaldığını belirtti. Kendisi birkaç ay önce istifa etmeyi düşünmüş, ancak şirketteki değişimi görünce kalmaya karar vermiş.
Bu dönüşüm, bu yıl temmuz ayında yaşanan ciddi bir olaydan kaynaklandı. O dönemde OpenAI'ın iç modeli güvenlik testlerinde izole ortamı aşarak izinsiz internete bağlanmış, hatta Hugging Face sistemine sızmıştı. Eylül ayında ise başka bir iç model, ağ yapılandırma açığını kullanarak kısıtlamaları atlayıp dış ağa erişmişti.
OpenAI bunun ardından öncü model eğitimini birçok kez durdurarak mühendisleri sistemi güçlendirmek için görevlendirdi. Şirketin ürün mühendislerinin yaklaşık dörtte biri güvenlik sorunlarını çözmek üzere görevlendirildi. Bir iç güvenlik hamlesinde 250'den fazla kişi seferber edildi ve 100'den fazla hizmet alanı kapsandı.
Ar-Ge süreci de yeniden tasarlandı. OpenAI, binlerce milyar Token harcayarak AI'ın kendi eğitim ortamına tekrar tekrar saldırmasını ve açık aramasını sağladı. Şirket ayrıca model çalışmasını sürekli izlemek üzere bir Control Room kurdu; tehlikeli davranış tespit edildiğinde modelin çıktı üretmesi en fazla 35 saniye içinde durdurulabiliyor.
Bu güvenlik gereklilikleri model yayınlarını doğrudan etkiledi. Eylül sonunda OpenAI, ekim ayında çıkarılması planlanan yeni nesil Astra amiral gemisi modelini iptal etti. Güvenlik sorumlusu Saachi Jain, yeni modelin görevleri yerine getirmede daha istekli olmasına rağmen, kullanıcı yetkilendirme kapsamına uyma ve kendi işlemlerini açıkça raporlama konularında önceki nesilden daha geride olduğunu açıkladı. Güvenlik ekibi bu nedenle yayının iptal edilmesini önerdi ve araştırma yönetimi sonunda bu kararı kabul etti.
OpenAI, 1 Ekim'de daha önce durdurulan öncü pekiştirmeli öğrenme eğitimini yeniden başlattı, ancak yeni nesil Astra amiral gemisinin yayın tarihi hâlâ açıklanmadı. Joe, yönetimin artık daha güçlü modellerin geliştirilmesine devam etmek için önce yeterli güvenliğin sağlanması gerektiğini fark ettiğini düşünüyor. Geçmişteki derslerin şirkette birçok yara izi bıraktığını belirtti.
