Perplexity yeni bir açık kaynak Embedding modeli yayınladı: Tüm metni bir arada okur, parçalara bölündüğünde bile bağlamı korur

动察 Beating AI hızlı haber: Perplexity, yeni bağlam embedding modeli pplx-embed-v2-context-9b-preview'ı açık kaynak olarak yayınladı; model esas olarak RAG erişimi için kullanılıyor. Normal embedding modelleri genellikle uzun belgeleri küçük parçalara bölüp her birini ayrı ayrı anlar; yeni model ise bu parçaları birlikte kodlayarak her parçanın vektör üretirken tüm belgenin bağlamını dikkate almasını sağlıyor. Model Hugging Face'te açıldı ve MIT lisansıyla sunuluyor.

Örneğin, bir metinde yalnızca "O %20 büyüdü" yazıyorsa, tek başına "O"nun ne olduğunu anlamak zordur. Yeni model, bu cümleyi belgenin diğer bölümleriyle birleştirerek anlayabiliyor. Eğitim sırasında ayrıca hem yanıtı hem de yanıtı destekleyen diğer paragrafları aynı anda bulmayı öğreniyor; böylece sonraki AI yalnızca yanıtı değil, yanıtı doğrulamak için gereken kanıtı da alabiliyor.

turbopuffer tarafından tasarlanan context-bench kör testinde, yeni modelin Answer@10 değeri %45,5'e ulaştı ve Voyage Context 4'ten 14,4 puan yüksek çıktı; Evidence Recall@10 ise %40,6 oldu ve 5 puan daha yüksekti. Test 38.894 uzun belge ve 2.099 sorgu içeriyor; sorular açıklanmıyor, bu da test setinin eğitim verileriyle kirlenme riskini azaltabiliyor.

Model şu anda hâlâ Preview sürümünde. Perplexity, sonraki ağırlıkların, arayüzlerin ve üretilen embedding'lerin değişebileceğini hatırlatıyor; bu nedenle şimdi üretilen vektörler gelecekteki sürümlerle doğrudan karıştırılarak kullanılamayabilir.