动察 Beating AI hızlı haberi: AI veri şirketi Idler, Paradigm liderliğinde 9 milyon dolarlık tohum yatırımı tamamladı; Y Combinator, Long Journey Ventures ve diğerleri de katıldı. Şirket, öncelikli olarak önde gelen model şirketleri için değerlendirmeler, benchmark'lar ve pekiştirmeli öğrenme ortamları oluşturuyor; böylece AI, gerçek iş senaryolarına yakın ortamlarda tekrar tekrar görevler yapıp geri bildirim alarak eğitimine devam ediyor.
Idler daha önce ağırlıklı olarak kodlama üzerine çalışıyordu. Geçtiğimiz yıl, önde gelen bir AI laboratuvarı için binlerce programlama değerlendirmesi ve eğitim ortamı üretti. YC'nin kamuya açık belgeleri ayrıca Idler'ın önde gelen bir temel model laboratuvarıyla milyonlarca dolarlık bir sözleşme imzaladığını gösteriyor.
Şimdi bu yöntemi gerçek kurumsal işlere genişletmeye başlıyor. İlk kamuya açık benchmark'ı ShelfLife, faaliyet gösteren bir perakende şirketini doğrudan bir "dijital ikiz" haline getiriyor. Web sitesi şu anda 200 görev sunuyor; veriler, bu şirketin son on yıllık gerçek operasyon kayıtlarından geliyor. Claude Opus 5 en yüksek geçiş oranına sahip: %69,0; GPT-5.6 Sol ise %55,7.
Idler ayrıca bu 41 ShelfLife görevini kullanarak NVIDIA Nemotron 3 Nano'yu sonradan eğitti ve Finance Agent Benchmark'taki puanını %30,0'dan %41,8'e çıkardı.
Perakendenin yanı sıra Idler, kurumsal hukuk gibi gerçek çalışma ortamları da oluşturmaya başladı; hedef, model eğitimini "soru çözmekten" "iş yapmaya" doğru ilerletmek.
