动察 Beating tarafından yapılan izlemeye göre, ByteDance Seed ekibi, AI'nın 12 ila 72 saatlik ultra uzun döngülü görevlerde çevresel öğrenme performansını araştırmak için akıllı ajan kıyaslama testi EdgeBench'i yayınladı. 38.000 saatten fazla ajan çalışma kaydını analiz ettikten sonra araştırma ekibi, AI'nın öğrenme eğrisinin oldukça tahmin edilebilir olduğunu, ajan performansının etkileşim süresiyle arttığını ve log-sigmoid eğrisine tam olarak uyduğunu buldu. Araştırmacılar, bu kuralı grafik arama teorisini kullanarak açıkladı ve ajanın ilerlemesinin, beceri haritasında sınırları dışa doğru genişletmek gibi olduğunu düşündü. Seed ekibi, kıyaslama çerçevesini ve ilk 51 görevi açık kaynak olarak yayınladı.
Bunun aksine, araştırma kurumu Epoch AI aynı gün EBR-bench değerlendirme sonuçlarını yayınladı ve farklı bir sonuca ulaştı. Masa oyunu ortamında yapılan testlerde, strateji kılavuzu sağlanmasına rağmen, AI tekrarlanan denemelerden sonra neredeyse hiç öğrenme ve kendini geliştirme davranışı göstermedi. Bu farklılık, AI'nın kendi kendine öğrenme potansiyelinin görev ortamı ve geri bildirim bağlantı tasarımından büyük ölçüde etkilendiğini gösteriyor. Sürekli çevresel geri bildirim gerektiren sistem mühendisliği veya bilimsel keşif gibi senaryolarda, ajanlar birikimli avantajlar oluşturabilir, ancak stratejisi nispeten karmaşık olan ayrık kural oyunlarında, mevcut çevrimiçi öğrenme hala zorluk çekiyor.
