OpenAI, PaperBench'i açık kaynak kodlu hale getirerek en iyi AI aracı değerlendirmesini yeniden şekillendiriyor

BlockBeats haberleri, AIGC açık topluluk haberlerine göre, bugün saat 01:00'de OpenAI, yeni bir AI Agent değerlendirme ölçütü olan PaperBench'i açık kaynaklı hale getirdi. Bu kıyaslama, esas olarak akıllı ajanın arama, entegrasyon ve yürütme yeteneklerini test ediyor ve 2024 Uluslararası Makine Öğrenmesi Konferansı'ndaki en iyi makalelerin yeniden üretilmesini gerektiriyor. Bu, makalenin içeriğini anlama, kod yazma ve deneyleri yürütme becerisini de içeriyor.

OpenAI tarafından yayımlanan test verilerine göre, bilinen büyük modeller tarafından oluşturulan akıllı ajanlar, şu anda makine öğrenimi alanında en iyi doktora derecesine sahip olanları alt edemiyor. Ancak bilimsel araştırma içeriğinin öğrenilmesine ve anlaşılmasına yardımcı olmakta oldukça faydalıdır.