OpenRouter, Jev'i akıllı yönlendirmeye entegre ediyor: model değiştirmeden önce önbellek kaybını hesaplayın

动察 Beating AI hızlı haber: OpenRouter, Jev Router'ı hizmete sundu ve TypeSafe'in Jev'ini model yönlendirmesine entegre etti. Her istek gönderilmeden önce Jev, görevin zorluğunu, hassasiyet gereksinimlerini ve mevcut model ile akıl yürütme seviyesinin yeterli olup olmadığını değerlendirir; ardından aynı şekilde devam etmeye, akıl yürütme yoğunluğunu artırmaya ya da başka bir modele geçmeye karar verir.

OpenRouter'ın önceki Auto Router'ı daha çok görev türüne göre model seçiyordu. Önce bunun ne tür bir görev olduğunu belirler, sonra son 7 gündeki benzer isteklerde her modelin kullanım durumuna bakarak yönlendirme yapardı. Jev Router ise bu turun gerçekte ne kadar zor olduğuna bakmaya devam eder. Basit görevlerde seviye düşürülebilir, zor görevlerde reasoning effort artırılabilir; aynı model hâlâ çözebiliyorsa hemen model değiştirmeye gerek yoktur.

Burada çok pratik bir sorun da var: bağlam önbelleği. Uzun bir sohbette model değiştirildiğinde, önbelleğe alınmış bağlam genellikle doğrudan yeniden kullanılamaz ve yeni model tüm sohbet kaydını yeniden işlemek zorunda kalabilir. Jev Router bu kaybı da hesaba katar. OpenRouter'a göre, yalnızca model değiştirmenin beklenen faydası geçiş maliyetinden yüksekse gerçekten model değiştirilir; aynı model de mümkün olduğunca kullanılmaya devam edilir.

OpenRouter'ın kendi testlerine göre, 4 Agent benchmark'ta toplam 423 görevden Jev Router 237'sini, Auto Router ise 130'unu tamamladı; yaklaşık %82 daha fazla görev çözdü. Diğer 5 Agent benchmark'ta ise ilk token medyan gecikmesi, test edilen diğer yönlendiricilerden daha düşüktü.

Benzer bir yaklaşım daha önce Jev topluluğunda da ortaya çıkmıştı. Örneğin `gholtzap/jev-codex-model-and-effort-router`, önce Jev'e Codex için model ve akıl yürütme seviyesi seçtirir, sonra tüm thread'i sabitleyerek önbelleği yeniden kullanır; `Jev-Auto-Router` ise her çağrıda modeli yeniden seçmeyi dener. OpenRouter bu kez bu tür yöntemleri doğrudan resmi yönlendirme hizmetine dahil etti.