动察 Beating AI hızlı haberi: Scale AI, HarnessOpt-Bench'i tanıttı; bu, yapay zekanın bir Agent'ın harness'ını kendi kendine değiştirip başka bir Agent'ı daha güçlü hale getirip getiremeyeceğini özel olarak test ediyor.
Harness, modelin dışını saran programdır; prompt, araçlar, bellek ve iş akışını içerir. Test sırasında yapay zeka, kasıtlı olarak yeterince optimize edilmemiş bir harness alır ve skorlar ile başarısız vakalara dayanarak kodu sürekli değiştirir, ancak içindeki modelin kendisi değişmez.
Değişiklikler tamamlandıktan sonra Scale, daha önce hiç görmediği bir dizi test sorusuyla sınav yapar ve değiştirilen Agent'ın gerçekten güçlenip güçlenmediğini kontrol eder. Bu, yapay zekanın yalnızca bilinen sorulara göre skor artırmasını önler.
Scale, Claude Opus 5, GPT-5.6 Sol, Kimi K3 gibi 5 modeli 4 görev türünde 111 kez çalıştırdı. Opus 5 en iyi performansı gösterdi ve 4 görevden 3'ünde birinci oldu.
Genel olarak, harness'ı değiştirmekten sorumlu modelin kim olduğu, Claude Code, Codex veya OpenCode kullanarak kod değiştirmesinden daha önemlidir.
Ancak bu henüz gerçek bir "yapay zeka kendini geliştirme" değil. Çünkü bu sefer bir yapay zeka başka bir Agent'ın harness'ını değiştiriyor ve başlangıç harness'ı kasıtlı olarak bol miktarda optimizasyon alanı bırakıyor.
