Cua, AI arka planında bilgisayar işlemlerini test etti: kendi başarı oranı %58, browser-use ise sadece %3.
动察 Beating AI hızlı haber: Cua, Scale AI ile birlikte bilgisayar kullanımı değerlendirme testi Cua Driver Bench'i piyasaya sürdü. Test, AI Agent'ın yazılımı arka planda çalıştırmasını, aynı zamanda kullanıcının faresini ve klavyesini ele geçirmemesini ve iş akışını kesintiye uğratacak pencere açmamasını gerektiriyor.
macOS testinde Cua Driver'ın tam geçme oranı %58'e ulaşırken, Codex Computer Use %33, Vercel agent-desktop %20 ve browser-use yalnızca %3 oldu.
Cua'nın avantajı, arka plan pencerelerini doğrudan kontrol etmesinden geliyor. Sıradan bilgisayar kullanım araçları genellikle insan tıklamalarını ve yazmasını simüle eder ve hedef pencereyi ön plana getirmek zorundadır. Cua ise macOS'un erişilebilirlik arayüzlerini kullanarak arka plandaki uygulamaların düğmelerini ve giriş alanlarını doğrudan bulup işlem gerçekleştirir. Ayrıca pencereyi en üst katmana taşımadan yalnızca pencere görüntüsünü yakalayabilir.
Fark özellikle browser-use'ta belirginleşiyor. 40 testte 32 görevi başarıyla tamamladı, ancak bunlardan 31'i kullanıcıyı rahatsız etti ve sonunda yalnızca 1'i tamamen geçti. Cua yalnızca 25 görevi tamamlamasına rağmen 23'ünde kullanıcıyı rahatsız etmedi ve test sırasında klavye odağını hiç ele geçirmedi.
Tüm araçlar Claude Sonnet 5.5 kullanıyor; karşılaştırılan modelin kendisi değil, bilgisayar kullanım araçları. Testler tarayıcı, e-posta, takvim, elektronik tablo gibi görevleri kapsıyor ve her biri kullanıcı sürekli yazarken tamamlanması gerekiyor.
