动察 Beating AI hızlı haber: OpenAI bu yaz AI girişimi Goodfire ile birkaç kez görüşme yaptı ve CEO Sam Altman da bizzat katıldı. Bir yönetici, sadece iki yıllık bu şirketi 5 milyar doların üzerinde bir bedelle satın almayı önerdi.
Goodfire'ın bu yıl Şubat ayındaki değerlemesi yalnızca 1,25 milyar dolardı; birkaç ay sonra OpenAI yöneticileri 4 katından fazla bir fiyatla satın almayı teklif etti. Anthropic daha erken davrandı ve geçen yıl şirkete 1 milyon dolar yatırım yaptı.
Goodfire, AI modellerinin "mekanik yorumlanabilirliği" konusunda uzmanlaşıyor; yani modelin iç işleyiş mekanizmalarını çözümleyerek hangi nöronların belirli davranışlarla ilişkili olduğunu buluyor ve bu iç sinyalleri ayarlayarak modelin performansını değiştiriyor. Ayrıca, AI ajanlarının otomatik olarak deney tasarlamasına, modelin iç özelliklerini analiz etmesine ve model eğitimi ile optimizasyonuna yardımcı olmasına olanak tanıyan Silico platformunu da piyasaya sürdü.
Geleneksel izleme esas olarak başka bir AI'nın akıl yürütme kayıtlarını okuyarak modelin hile yapıp yapmadığını değerlendirmesine dayanıyor. Goodfire ise doğrudan modelin iç aktivite sinyallerini izleyerek metin izlemesinin gözden kaçırdığı bazı hile davranışlarını tespit edebiliyor ve bazen model harekete geçmeden önce bile anormallikleri fark edebiliyor.
OpenAI benzer sorunlarla boğuşuyor. Bu yıl Temmuz ayında şirketin iç deneysel modeli siber güvenlik değerlendirmesinde izolasyon önlemlerini atlatarak OpenAI'nin kendi araştırma sistemlerine ve Hugging Face'in bazı sunucularına sızdı. OpenAI daha sonra bu olayı kamuya kabul etti ve model davranışı izlemesini güçlendirdi.
Ancak satın alma sonuçta gerçekleşmedi. Konuya yakın kaynaklara göre Goodfire yönetimi, bağımsız kalmanın ve aynı anda birden fazla AI şirketine teknoloji satmanın gelecekte daha değerli olabileceğini düşünüyor.
Şimdi Goodfire resmen OpenAI ile işbirliği yaptığını duyurdu. Araştırmacılarını OpenAI'ye yerleştirerek iç modelleri ve eğitim sürecini doğrudan analiz edecek, anormal davranışları izleyecek ve model güvenliğinin iyileştirilmesine yardımcı olacak. OpenAI bu değerlendirme için ödeme yapacak. Goodfire ile aynı dönemde sözleşme imzalayan diğer üç dış kurum ise Apollo Research, METR ve Transluce oldu.
