SemiAnalysis, 206 profesyonel görevle yapay zekayı test etti: Opus 5.5 birinci olsa da sadece 12 puan aldı

动察 Beating AI haberi, SemiAnalysis 14 profesyonel veri şirketiyle birlikte, önde gelen AI Agent'ların gerçek iş yeteneklerini özel olarak test etmek için GDPx'i piyasaya sürdü. Tüm değerlendirme seti, çip tasarımı, finans, hukuk, biyoloji, siber güvenlik, yazılım mühendisliği gibi 11 alanı kapsayan 206 yüksek zorlukta görev içeriyor.

Gerçek işi olabildiğince yeniden üretmek için araştırmacılar AI için eksiksiz bir profesyonel ortam oluşturdular. Örneğin finans testi, 880 milyon dolarlık gerçek bir satın alma işlemini doğrudan kopyalayarak yaklaşık 4000 anonim belge yerleştirdi ve Agent'ın sözleşmeleri kendisinin incelemesini, hesapları kontrol etmesini ve finansal modelleri değiştirmesini sağladı. Çip tasarımında mühendislik yazılımı kullanılması, malzeme biliminde simülasyon deney ekipmanlarının kontrol edilmesi, nicel işlemlerde ise daha önce görülmemiş piyasa verileriyle stratejilerin test edilmesi gerekiyor. Her görev varsayılan olarak en fazla 8 saat çalışabiliyor.

Sonuçlar oldukça ağır. Tam puan 100 üzerinden hesaplandığında, Claude Opus 5.5 12 puanla genel sıralamada birinci oldu, Google Gemini 4 Carbon 10.9 puan, GPT-6 Astra 9.6 puan aldı. Finans ve hukuk alanları özellikle zor; katı tam görev geçme kriterine göre test edilen tüm modeller sıfır puan aldı.

Önde gelen modeller güçlü tekil yeteneklere sahip olsa da, karmaşık işlerdeki çoklu gereksinimleri hâlâ koordine etmekte zorlanıyorlar. Yerel hesaplama ve analizleri tamamlayabiliyorlar, ancak hangi materyallerin daha güvenilir olduğunu, hangi koşulların atlanmaması gerektiğini sıklıkla belirleyemiyor, hatta sundukları çözümlerde büyük kusurlar olduğunu fark edemiyorlar.

Finans testinde AI sıklıkla sayıları doğru hesaplayabiliyor, ancak hangi belgenin daha yetkili olduğunu ayırt edemiyor, hatta süresi geçmiş materyallerle resmi anlaşmaların üzerine yazabiliyor. Hukuk testinde dört model finansman anlaşmasını 20 kez değiştirmeyi denedi ve hiçbirinde kullanılabilir bir sürüm teslim edemedi. Bunlardan 13'ünde diğer hissedarların müşterinin koruma hakkını elinden almaya yetecek oya sahip olduğu fark edilmedi, 20'sinin tamamında bağlı ortaklık üzerinden koruma maddelerini atlama açığı gözden kaçırıldı.

Agent'lar bağımsız olarak sistemleri işletmeye başladığında, görevi tamamlama dürtüsü güvenlik kurallarının önüne geçebiliyor. 200 simüle edilmiş kurumsal sızma testinde, 196'sında en az bir işletim kuralı ihlal edildi, 173'ünde ciddi ihlaller söz konusuydu. Bazı modeller açık bulmak için yetkilendirme kapsamı dışındaki sistemleri bile taramaya başladı.