Bağımsız geliştirici Yetone'un Alma'sı Agent ilk üçe girdi, hem geçiş oranı hem de maliyet açısından Claude Code'u geride bıraktı

动察 Beating AI haberi: Bağımsız geliştirici Yetone tarafından geliştirilen Alma, en son AI Agent karşılaştırmasında hem görev geçme oranında hem de başarı maliyetinde üçüncü sırayı alarak Claude Code, OpenCode gibi tanınmış araçları geride bıraktı.

Bu değerlendirme, AI Agent altyapı şirketi Runta tarafından başlatıldı. Mevcut sıralama anlık görüntüsünde Alma'nın görev geçme oranı %72,7 olup, Codex CLI'nin %77,9 ve Pi'nin %72,8'inin hemen ardından geliyor. Claude Code ise %70,0 seviyesinde.

Alma yalnızca daha yüksek geçme oranına sahip olmakla kalmıyor, görevleri tamamlamak da daha ekonomik. Başarıyla tamamlanan her soru için ortalama maliyet yaklaşık 0,80 dolar; Claude Code'da bu rakam 0,94 dolar, yani maliyet yaklaşık %16 daha düşük.

Bu FrontierHarness v1.1 özellikle şu soruyu araştırıyor: Aynı büyük model, farklı bir Agent yürütme çerçevesiyle çalıştırıldığında performans ne kadar farklı olabilir?

Değerlendirme 21 Harness yapılandırması, 5 büyük model ve 62 görevi kapsıyor; her görev 4 kez tekrarlanıyor ve toplamda 26.040 çalıştırma planlanıyor. Bu, önceki sürümün 72 katı büyüklüğünde. Tüm araçlar birleşik bir bulut ortamında çalıştırılarak görev başarı oranı, Token maliyeti ve yürütme hızı karşılaştırılıyor.

Alma, yerel çalışma ve uzun süreli hafıza odaklı bir AI Agent olup doğrudan kodu okuyup değiştirebiliyor, terminal komutları çalıştırabiliyor, web'de arama yapabiliyor; ayrıca Skills ve MCP desteği sunuyor. Alt katmandaki modeli serbestçe değiştirebiliyor ve tek bir model sağlayıcısına bağımlı değil.

Son dönemde Alma, Herdr'ı da entegre etti. Claude Code, Codex, Pi gibi kodlama Agent'ları Herdr içinde çalışmaya devam edebiliyor; Alma ise onları tek bir sohbet arayüzünde toplayarak yürütme sürecini görüntüleme, soruları yanıtlama ve işlemleri onaylama imkânı sunuyor. Kullanıcılar hatta iPhone üzerinden bilgisayarlarındaki birden fazla Agent'ı uzaktan yönetebiliyor.

Değerlendirme henüz tamamlanmadı; sıralama hâlâ değişebilir. Katılan modeller de yalnızca GLM, DeepSeek, Kimi, Muse gibi açık kaynak modellerle sınırlı olup GPT ve Claude serisi kapalı kaynak modelleri kapsamıyor.