动察 Beating AI hızlı haberi: AI değerlendirme kuruluşu Artificial Analysis, Search Index'i tanıttı ve ajanların kullandığı arama API'lerini puanlamaya başladı. Arama API'si, ajanların internete bağlanıp bilgi bulmasını sağlayan arayüzdür.
Değerlendirme sabit olarak GPT-5.6 Luna ve aynı Harness çerçevesini kullanıyor; her soru için en fazla 25 ajan turu çalıştırılıyor ve yalnızca arka plandaki arama hizmeti değiştiriliyor. İlk testte 7 firmanın 11 yapılandırması yer aldı; Parallel advanced 75 puanla birinci, Exa auto 74 puan, Firecrawl 73 puan. Aynı model arama kullanmadan yalnızca 33 puan aldı.
Değerlendirme, DeepSearchQA, BrowseComp ve AA-Omniscience üçünü eşit ağırlıkla ortalamasını alıyor; sırasıyla derin arama, çok adımlı gerçek bulma ve bilgi soru-cevap testleri yapılıyor.
Biraz şaşırtıcı olan şu: Parallel advanced'in arama ücreti basic'ten daha yüksek, ancak modelin ortalama token kullanımı yaklaşık 339.000'den 169.000'e düştü. Tüm sorunun toplam maliyeti 0,11 dolardan 0,084 dolara düştü ve puan 73'ten 75'e yükseldi. Arama API'si biraz daha pahalı olsa da, ajanın nihai maliyetinin daha yüksek olduğu anlamına gelmez.
Ancak 75 puan yalnızca arama kalitesini temsil ediyor; kalite, fiyat ve hızın genel bir sıralaması değil. Artificial Analysis, maliyet ve gecikmeyi ayrı ayrı istatistiksel olarak hesaplıyor ve farklı seçeneklerin takaslarını karşılaştırmak için Pareto ön cephesini kullanıyor.
