Arena, AutoEval'i piyasaya sürdü: Yapay zeka önce gerçek insanları simüle ederek puanlama yapıyor, yeni modeller 1 saat içinde sonuç alabiliyor.

Önemli bir gelişme olarak, büyük model değerlendirme platformu Arena, AutoEval'i tanıttı. Bu sistem, ödül modeli (gerçek kullanıcı tercihlerini öğrenen bir puanlama modeli) kullanarak kullanıcı oylarını simüle eder ve yeni modeller için hızlı bir şekilde liderlik tablosu puanları üretir. Yeni bir model yayınlandığında, günlerce gerçek kullanıcı oylarının birikmesini beklemeden, en hızlı şekilde 1 saatten kısa sürede tahmini bir sıralama elde edilebilir. Bu puan, AutoEval olarak işaretlenir ve daha sonra gerçek kullanıcı oylarının sonuçlarıyla düzeltilir.

Bu sistem, milyonlarca gerçek kullanıcı tercihi verisiyle eğitilmiştir. Değerlendirme sırasında AutoEval, farklı modellerin yanıt kalitesini karşılaştırır ve Arena'nın mevcut liderlik tablosu kurallarına göre puanları hesaplar. Şu anda metin, görsel, görüntü üretimi ve kod modeli değerlendirmelerini destekler.

Arena'nın geriye dönük testleri, AutoEval ile sonraki gerçek kullanıcı sıralamaları arasındaki korelasyonun 0,98'i aştığını gösteriyor. İki model arasındaki gerçek puan farkı 10 puanı aştığında, kazananı belirleme doğruluğu %90'ın üzerindedir; fark 15 puanı aştığında ise %100'e ulaşır. Ancak model farkı 5 puandan az olduğunda, hala istikrarlı bir şekilde ayırt etmek zordur.