动察 Beating AI hızlı haber: geliştirici Joseph Zhou, Codex, Claude Code gibi AI Agent'ların gerçek bir iPhone'u doğrudan kontrol etmesini sağlayan Poki'yi açık kaynak olarak yayınladı.
Şu anda pek çok iPhone Use projesi var; bazıları XCTest/WDA aracılığıyla test programları kuruyor, bazıları ise harici donanımla işlemleri simüle ediyor.
Poki farklı bir yol izliyor: doğrudan Apple'ın cihaz geliştirici hizmetlerini çağırarak iPhone'un yerel erişilebilirlik kontrol ağacını okuyor, düğmeleri, metinleri ve konumları alıyor, ardından telefona tıklama, kaydırma, yazma ve hatta iki parmakla yakınlaştırma gibi komutlar gönderiyor.
Böylece AI'ın her adımda ekran görüntüsünden koordinat tahmin etmesine gerek kalmıyor ve iPhone'a test programı kurulması da gerekmiyor. İlk kez USB ile eşleştirildikten sonra aynı yerel ağ üzerinden kablosuz olarak da çalıştırılabiliyor.
Poki, MCP aracılığıyla Codex ve Claude Code'a bağlanmanın yanı sıra Mac üzerinde çalışan kendi Agent'ını da içeriyor; terminal veya iMessage üzerinden görev verilebiliyor. Başarıyla yürütülüp doğrulanan işlem akışlarını hatırlayabiliyor, bir sonraki aynı görevde doğrudan yeniden kullanabiliyor; bazı görevlerde modelin tekrar çağrılması bile gerekmiyor. Ancak Mac'in çalışır durumda kalması gerekiyor.
Gerçek cihaz üzerindeki işlemler şu an oldukça yavaş. Yazar, iOS 27.3 çalıştıran bir iPhone'da test etti; bir sohbet uygulamasındaki arama kutusu için metne art arda 12 kez tıklama tamamen etkili oldu, ancak her biri yaklaşık 8 saniye sürdü; giriş alanını doldurmak yaklaşık 15 saniye aldı ve bazı düğmeler hâlâ normal şekilde tıklanamıyor.
Poki'nin avantajı sistem kontrollerini doğrudan okuyabilmesi, kablosuz çalışmayı ve çoklu dokunmayı desteklemesi; ancak tam Xcode, geliştirici modu ve UI Automation gerektiriyor. Alt katman Apple'ın geliştirici arayüzlerine bağlı olduğundan gelecekteki sistem güncellemeleri uyumluluğu etkileyebilir.
