Partnered With:

Codex bilgisayar nasıl kullanılır? Üç giriş yöntemi ve yetki sınırları

Bu makaleyi okumak için 24 Dakika

Önemli olan yapay zekaya daha fazla yetki vermek değil, doğru hareket sınırlarını seçmesini sağlamaktır.

Orijinal Başlık: Codex'in Bilgisayar Kullanabileceği Üç Yöntem
Orijinal Yazar: jason
Çeviri: Peggy, BlockBeats

Editörün Notu: Bu makale, Codex'in dış ortamı kontrol etmek için kullandığı üç giriş noktasını ele alıyor: Computer Use, Chrome eklentisi ve uygulama içi tarayıcı. Her üçü de "Codex'in bilgisayar kullanmasını sağlama" sorununu çözüyor gibi görünse de, farklı görev senaryolarına, yetki sınırlarına ve güven seviyelerine karşılık geliyor.

Bunlardan Computer Use en geniş kapsama sahiptir ve macOS/Windows üzerinde yetkilendirilmiş yerel uygulamaları, sistem ayarlarını, iOS simülatörlerini ve hatta birden fazla uygulama arasında iş akışlarını doğrudan çalıştırabilir. API, eklenti veya yapılandırılmış araç desteği olmayan GUI süreçleri için uygundur, ancak daha yavaş çalışır ve en geniş yetki sınırlarına sahiptir. Chrome eklentisi ise oturum durumu, çerezler, çoklu sekmeler ve tarayıcı kimliği gerektiren görevler için daha uygundur; örneğin Gmail, LinkedIn, Salesforce, dahili panolar veya birden fazla web sitesinde oturum açılmış araştırmalar gibi. Uygulama içi tarayıcı daha çok geliştirme ve hata ayıklama senaryolarına yöneliktir; özellikle yerel hizmetler, görsel hatalar, duyarlı düzenler ve tasarım notları için idealdir; kullanıcının normal tarayıcı oturum durumunu devralmaz, yetenekleri daha dardır ancak izolasyonu daha güçlüdür.

Makalenin temel tezi, Codex'in bilgisayar kullanmak için tek bir yöntemi olmadığıdır; asıl önemli olan, göreve göre en dar, en güvenli ve en yapılandırılmış işlem arayüzünü seçmektir. Eklenti veya MCP kullanılabiliyorsa, öncelikle görsel kontrole başvurulmamalıdır; görev yalnızca web geliştirmeyi içeriyorsa, öncelikle uygulama içi tarayıcı kullanılmalıdır; kullanıcının tarayıcı kimliği ve oturum durumu gerekiyorsa, Chrome'a geçilmelidir; yalnızca yapılandırılmış araçlar yetersiz kaldığında ve görev masaüstü grafik arayüzüne bağımlı olduğunda, Computer Use son çare olarak kullanılmalıdır.

Appshots ise bilgisayarı kontrol etmenin dördüncü bir yolu değil, mevcut ekran bağlamını Codex'e "göstermek" için kullanılan bir araçtır. Bağlam girişi sorununu çözerken, Browser, Chrome ve Computer Use eylem sorununu çözer. Birlikte ele alındığında, bu katmanlı yapı aslında AI Agent ürünleştirmesinin anahtarını ortaya koyuyor: modele sınırsız yetki vermek değil, belirli görevlerde yetkileri sürekli daraltmak, sınırları netleştirmek ve kullanıcının kritik eylemler üzerinde inceleme yetkisini korumasını sağlamak.

İşte orijinal metin:

Codex'in bilgisayar kullanmasının üç yolu vardır: Computer Use, Chrome eklentisi ve uygulama içi tarayıcı.

Aralarında belirli bir örtüşme var, tam da kafa karıştıracak kadar.

Bu yazıyı okuduktan sonra, bu üç yöntemi nasıl kuracağınızı ve tetikleyeceğinizi, hangi senaryolarda kullanmanız gerektiğini, Appshots ve Developer mode'un bunları nasıl birbirine bağladığını ve AGENTS.md dosyasına ne yazmanız gerektiğini öğreneceksiniz, böylece Codex kendisi için uygun işlem arayüzünü seçebilir.

Kısa versiyonu şöyle:

Bununla birlikte, mümkün olduğunda yine de eklenti veya MCP kullanmayı tercih edin. Örneğin, Slack eklentisi, Slack'te rastgele tıklamaktan çok daha hassas bir şekilde bir iş parçacığını bulabilir; GitHub eklentisinin ürettiği işlemler, Codex'in web sayfasını yönlendirmesine izin vermekten daha kolay kontrol edilebilir. Görsel kontrol, en iyi şekilde yapılandırılmış araçların yeteneklerinin sınırına ulaştığı yerlerde kullanılır.

Her Şey @Computer Olabilir

Computer Use, bu üç işlem arayüzü arasında en geniş kapsama sahip olanıdır. Codex'in macOS ve Windows üzerinde grafik arayüzü görüntülemesine ve işlemesine olanak tanır; buna pencereler, menüler, klavye girişleri ve yetki verdiğiniz uygulamalardaki pano dahildir.

Aynı zamanda genellikle en yavaş olanıdır. Yapılandırılmış eklentiler doğrudan API'yi çağırabilir; Computer Use ise arayüzü gözlemlemeli, nereye tıklanacağına karar vermeli, uygulamanın yanıt vermesini beklemeli ve ardından bir sonraki adımın durumunu kontrol etmelidir. Bu görsel döngü zaman alır, ancak aynı zamanda Codex'in hiçbir kullanılabilir API'si olmayan uygulamaları işlemesine olanak tanır.

macOS'te yavaş olmak, mutlaka sizi rahatsız edeceği anlamına gelmez. Computer Use, yetki verdiğiniz uygulamalarda arka planda çalışabilir ve siz bilgisayarınızın diğer kısımlarını kullanmaya devam edebilirsiniz. Çoğu zaman, Codex'i kullanırken bir uygulamayı açarım ve Codex'in arka planda sessizce bir iş akışını tamamladığını fark ederim.

Bilgisayarınızda hangi uygulamaların yüklü ve yetkilendirilmiş olduğuna bağlı olarak, bu işlem nesneleri Spotify, Xcode, System Settings, iOS simülatörü ve hatta iPhone Mirroring ile iPhone'unuzu kontrol etmeyi içerebilir. Ayrıca birden fazla uygulama arasında geçiş yaparak farklı uygulamaları kapsayan iş akışlarını da işleyebilir.

Görev aşağıdakilere bağlı olduğunda kullanılabilir:

Spotify veya finans uygulamaları gibi yerel masaüstü uygulamaları;

iOS simülatörü, iPhone Mirroring veya yalnızca grafik arayüz üzerinden işlenebilen diğer işlemler;

Sistem veya uygulama ayarları;

Eklenti veya API'si olmayan veri kaynakları;

Birden fazla uygulama arasında geçiş yapmayı gerektiren iş akışları;

Yapılandırılmış bir entegrasyonda eksik olan son adım.

Kurulum: Codex'in Settings > Computer Use bölümünü açın ve Install'a tıklayın.

Tetikleme: @Computer ifadesini kullanarak veya Codex'ten açıkça Computer Use'i kullanmasını isteyerek. Model yetenekleri geliştikçe, gelecekte gerektiğinde kendi kendine de çağıracaktır.

Birkaç örnek deneyebilirsiniz:

En sevdiğim örnek, bir paketin çalınmasıyla başladı. Amazon bana müşteri hizmetlerine ulaşmak için yaklaşık 25 dakika beklemem gerektiğini söyledi. Computer Use'e bir Codex iş parçacığı verdim ve sohbet penceresini her beş dakikada bir kontrol etmesini, müşteri temsilcisi göründüğünde her dakikada bir kontrol etmeye geçmesini ve paramı iade almam için elinden geleni yapmasını söyledim. Duştan döndüğümde iade işlemi çoktan tamamlanmıştı.

Use @Computer to open Spotify, find my Discover Weekly playlist, and start it. Do not change my account or subscription settings.Use @Computer to open iPhone Mirroring, reproduce the onboarding bug in the iOS app, and take a screenshot of the failing state. Fix the smallest relevant code path, then run the same flow again.

Computer Use'i yapılandırılmış iş akışlarında "son kilometre" olarak da kullanıyorum. Bir yayın videosunda Codex, Slack'ten geri bildirim okuyabiliyor, kodu değiştirebiliyor ve yeni videoyu render edebiliyordu, ancak o iş parçacığındaki Slack entegrasyonu dosya yükleyemiyordu. Computer Use, Add file'a tıklayarak bu eksik adımı tamamladı.

Aynı zamanda üçü arasında en geniş güven sınırına sahip olanıdır. Bir seferde yalnızca belirli bir uygulama veya süreç verin. Görevin parçası olmayan hassas uygulamaları kapalı tutun; izin açılır pencerelerini dikkatlice kontrol edin; finans, hesap, ödeme, kimlik bilgileri, gizlilik ve sistem güvenliği değişiklikleri söz konusu olduğunda, denetim için bir kişinin hazır bulunması en iyisidir.

@Chrome ile Çoklu Sekmeleri ve Oturum Durumunu Yönetme

Codex Chrome eklentisi, Codex'in Chrome'da oturum açmış durumunuza erişmesini sağlar. Görevler hesap, çerez, tarayıcı profili veya zaten açıp doğruladığınız sekmelere bağlı olduğunda bu özellik kullanılmalıdır.

Bu işlem arayüzü aşağıdaki araçlardaki çalışmalar için uygundur:

Gmail veya LinkedIn;

Salesforce veya müşteri hizmetleri paneli;

Dahili gösterge panelleri;

Birden çok web sitesinde oturum açmış araştırma;

Hesabınıza veya tarayıcı eklentilerinize bağlı formlar.

Kurulum: Codex'in Eklentiler bölümünü açın, Chrome'u ekleyin ve kurulum adımlarını izleyin. Codex, Codex Chrome eklentisini yüklemeniz ve Chrome izinlerini onaylamanız için size rehberlik edecektir. Eklenti "Bağlandı" (Connected) durumunu gösterdiğinde yeni bir iş parçacığı başlatın.

Tetikleme yöntemi: @Chrome'dan bahsedin veya Codex'ten açık Chrome tarayıcınızı kullanmasını açıkça isteyin:

Açık müşteri hesabını incelemek, diğer sekmedeki destek biletiyle karşılaştırmak ve eksik alanları taslak haline getirmek için @Chrome'u kullan. Göndermeden önce dur.

Chrome görevleri sekme grupları içinde çalışır; bu, belirli bir Codex iş parçacığıyla ilgili sekmeleri bir arada tutmaya yardımcı olur. Uygulama içi tarayıcıdan farklı olarak bu işlem arayüzü, tarayıcı kimliğinizi taşır. Bu, onu daha güçlü ve aynı zamanda daha hassas kılar.

Bir diğer önemli avantaj ise çoklu sekme kontrolüdür. Chrome, birden çok sekmeyi aynı görevle ilişkilendirmenize, bir sayfada bağlam okumanıza, başka bir sayfada bilgileri karşılaştırmanıza ve üçüncü bir sayfada iş akışına devam etmenize olanak tanır. Bilgisayar Kullanımı (Computer Use) da tarayıcıyı görsel olarak yönlendirebilir, ancak Chrome görevi bir dizi ekran koordinatı işlemi yerine bir tarayıcı iş akışı olarak anlar.

Yakın zamanda bir iş parçacığında, zaten açık olan bir Strudel Composer sekmesini Codex'e verdim ve müziği daha ilginç hale getirmesini istedim. Chrome, seçili sekmeyi ve bu sayfanın sunduğu WebMCP araçlarını Codex'e sağladı. Codex, müzik yapısını inceledi, armoniyi ve dört dakikalık genel formu yeniden yazdı, tempoyu değiştirdi, parçayı kaydetti ve çalmaya devam etmesini sağladı. Arayüzdeki her bir kontrolü görsel olarak araması gerekmedi çünkü Chrome, sekme bağlamını ve sayfanın sunduğu yapılandırılmış yetenekleri birleştirebildi.

Ayrıca uzun vadeli bir Twitter dizisi çalıştırmak için de kullanıyorum. Kabaca talimat şu şekilde:

Her gün Chrome'u kullanarak DM'lerimi kontrol et, ilgili haberleri oku ve bilmem gereken geri bildirimleri veya bahsedilmeleri ara. Kalıcı olan her şeyi kasama ekle. Gönderi paylaşma veya mesaj gönderme.

İlginç olan kısım, Codex'in Twitter'ı açabilmesi değil; bu dizinin uzun süre aynı oturum açılmış çalışma ortamına dönüp, bulduğu içerikleri yerel dosyalara bağlayabilmesi ve incelemem için bir sonuç bırakabilmesi.

Buradaki güven sınırı çok önemli. Web siteleri, Codex'in tıklamalarını, form gönderimlerini ve mesaj iletimlerini sizin yaptığınız işlemler olarak algılayabilir. Web içeriğinin kendisi de güvenilmez bir girdidir. Sonuçları ağır olan adımları net bir şekilde ayırın: araştırma, gezinme ve taslak oluşturma otomatikleştirilebilir; gönderme, yayınlama, satın alma veya onaylama işlemleri öncesinde sizin incelemeniz gerekir.

Görevin tamamı tarayıcı içinde tamamlanacaksa, Computer Use yerine öncelikle Chrome'u kullanın. Chrome, bu tür görevler için gereken tarayıcıya özgü bağlamı sunarken, erişim kapsamını tüm masaüstüne genişletmez.

Geliştirdiğiniz Web Sitesi İçin Uygulama İçi @Browser Kullanımı

Uygulama içi tarayıcı, Codex dizisi içinde bulunan bir tarayıcıdır. Siz ve Codex aynı işlenmiş sayfayı paylaşırsınız, bu nedenle web uygulamaları oluşturmak ve hata ayıklamak için idealdir.

Genellikle şu işlemlerle başlarım:

Yerel geliştirme sunucusu;

Dosya tabanlı önizleme sayfaları;

Giriş gerektirmeyen herkese açık sayfalar;

Görsel hataları yeniden oluşturma;

Duyarlı düzeni kontrol etme;

Sayfa öğeleriyle ilgili tasarım geri bildirimi bırakma.

En önemli kısıtlaması izolasyondur. Uygulama içi tarayıcı, normal tarayıcı profilinizi, çerezlerinizi, eklentilerinizi, oturum açma bilgilerinizi veya mevcut sekmelerinizi kullanmaz. Bu, görev bir hesap kimliği gerektirdiğinde bir sınırlamadır; ancak görev hesap gerektirmediğinde faydalı bir sınırdır.

Kurulum: Codex'in Eklentiler (Plugins) bölümünü açın, Browser eklentisini ekleyin ve etkinleştirin.

Tetikleme yöntemi: İpucunda @Browser'dan bahsedin veya Codex'in uygulama içi tarayıcıyı kullanmasını açıkça isteyin:

http://localhost:3000/ adresindeki vite uygulamasını açmak için @Browser'ı kullanın, mobil taşma hatasını yeniden oluşturun, düzeltin ve aynı rotayı masaüstü ve mobil genişliklerde tekrar doğrulayın.

Bu, sıkı bir geri bildirim döngüsü oluşturur: Codex kodu düzenleyebilir, sayfayı işletebilir, işleme durumunu kontrol edebilir, ekran görüntüsü alabilir ve düzeltmeden sonra aynı süreci yeniden doğrulayabilir.

En sevdiğim kısım not alma özelliği. Yerel bir uygulamayı incelerken doğrudan bir öğeye tıklayabilir veya bir alanı seçip yorum bırakabilirim. Stil kontrolleri ayrıca metin, yazı tipi, boşluk ve renkleri daha hassas bir şekilde önizlememe ve geri bildirim vermeme olanak tanır. Bunu genellikle sesli giriş ve süreç yönlendirmesiyle birleştiririm: Sayfayı inceler, yorumlar bırakır ve Codex mevcut geri bildirimi işlerken sıraya daha fazla görüş eklemeye devam ederim. Sayfanın kendisi bir teknik şartname haline gelir.

Bu, özellikle tasarım çalışmaları için kullanışlıdır. Sık sık Codex'ten bir fikri, bir araştırma paketini veya bir proje durumunu tek dosyalı bir index.html olarak düzenlemesini ve ardından uygulama içi tarayıcıda açmasını isterim. Başka bir ipucunda tüm tasarımı anlatmaya çalışmak yerine, gerçek sayfada doğrudan not alabilirim: "Bu hiyerarşi ters", "Burası çok kart gibi olmasın", "Bu kontrollerin daha fazla alana ihtiyacı var" veya "Tüm sitede bu yazı tipi boyutu oranını kullan". Codex, ilgili ekran görüntüleri ve öğe bağlamıyla birlikte yorumları alır, dosyayı değiştirir ve bir sonraki tur için aynı sayfayı yeniden açar.

Bu proje özeti için tek dosyalı bir index.html oluşturun ve uygulama içi @Browser'da açın.

Bu döngü, ekran görüntüleri ve metin açıklamalarını ileri geri göndermekten ziyade, bir tasarımcıyla aynı tuval üzerinde çalışmaya daha yakın hissettiriyor.

Uygulama içi tarayıcı ayrıca hibrit iş akışları için bir başlangıç noktası olarak da uygundur. Başka bir konuşma dizisinde, Codex'in ilgili tartışmayı araştırması için uygulama içi tarayıcıyla bir X gönderisi açtım. Görünür sayfa, hangi gönderiyi kastettiğimi doğrulamasına yardımcı oldu; ardından Codex, Twitter CLI'ya geçti ve tarayıcı görünümünde gizli olan iç içe yanıtlar da dahil olmak üzere 38 yanıtı aldı. Bu, "en dar işlem arayüzünü kullanma" ilkesinin bir uygulamasıdır: Ekran bağlamını doğrulamak için tarayıcıyı, daha derin bir araştırma için yapılandırılmış araçları kullanın.

Burada da bir ödünleşim söz konusu. Uygulama içi tarayıcının izolasyonu, onu harika bir geliştirme arayüzü haline getiriyor, ancak aynı zamanda Google girişi, passkey veya tarayıcı uzantılarına bağımlı siteleri işlemek için uygun olmadığı anlamına geliyor. Kimlik önemli olduğunda Chrome'a geçin.

Appshots

Appshot, Codex'in bilgisayarı kontrol etmesinin dördüncü yolu değildir. Codex'i önünüzdeki bağlama yönlendirmenin bir yoludur.

Mac'te, CMD tuşuna iki kez basarak en son pencereyi yakalayabilirsiniz. Codex, bir resmi ve mevcut tüm metni iş parçacığına ekler. Bir hata, bir e-posta, bir tasarım, bir ayar paneli veya yabancı bir form için Appshot alabilir ve ardından doğrudan şunu söyleyebilirsiniz:

İşte hatırlaması en kolay bulduğum zihinsel model: Appshots, bilgisayarınızdaki bir şeyi işaret etmek için kullandığınız yöntemdir; Browser, Chrome ve Computer Use ise Codex'in harekete geçme yöntemleridir.

Appshots şu anda macOS üzerindeki Codex uygulaması aracılığıyla oluşturulur. Tüm masaüstünü değil, en öndeki pencereyi yakalar. Bu, uygulama üzerinde kontrol vermeden odaklanmış bir bağlam sağlayabileceğiniz kullanışlı bir yol haline getirir.