144M parametreyle Agent kararları alınabiliyor, Julia-1 Android tabletlerde bile çalışabiliyor

动察 Beating AI hızlı haber: AI laboratuvarı Supersonic Labs, yalnızca 144,3 milyon parametreye sahip hafif bir karar modeli olan Julia-1'i yayınladı. Uzun metin üretmez; bunun yerine bağlam, soru ve 2 ila 20 aday yanıt alarak doğrudan sınıflandırma, puanlama ve doğru-yanlış değerlendirmesi yapar. Agent'lara araç seçimi, yönlendirme veya sonraki adımı belirleme konusunda yardımcı olabilir.

Julia-1, çok dilli kodlama modeli mmBERT-small temel alınarak geliştirilmiştir. Model ağırlıkları yaklaşık 550MB olup düşük donanım eşiğine odaklanmaktadır. Resmi olarak Apple M4, Intel i5-1235U ve Samsung Android tablet üzerinde testler tamamlanmıştır. M4'te tek karar için medyan gecikme yaklaşık 33ms; Samsung tablette yalnızca CPU ile çalıştırıldığında yaklaşık 203ms, süreç tepe bellek kullanımı ise yaklaşık 393MB'dir.

Resmi olarak açıklanan 4 grup Jev karşılaştırma testinde Julia-1 3 grubu kazanmıştır. Typed Decisions'da %73,15'e karşı Jev referans sonucu %72,70; AG News'te %94'e karşı %91; duygu sınıflandırmasında %86'ya karşı %48. Ancak 72 kategori içeren Banking77'de Julia-1 yalnızca %64 ile Jev'in %87'sinin oldukça altında kalmıştır. Resmi açıklamaya göre aday kategori sayısı çok fazla ve birbirine benzer olduğunda, mevcut gruplama filtresi doğru yanıtı erkenden eleyebilmektedir.

Julia-1'in bulut GPU eğitimi ve deneylerinin toplam maliyeti yalnızca yaklaşık 104 dolardır. Model ağırlıkları, çalıştırma kodu, tam değerlendirme ve kaynak kayıtları açık olup Apache 2.0 lisansı ile sunulmaktadır. Resmi olarak API de geliştirilmektedir ve milyon giriş token'ı başına 0,025 dolar ücretlendirme planlanmaktadır; model yalnızca karar verip uzun metin üretmediği için çıkış token'ları ücretsizdir.