OpenAI'nin yatırım yaptığı 11 milyar dolar değerindeki hukuk yapay zekâ unicorn'u, Çin'in açık kaynak modelini "kabuk" olarak kullanmaya başladı.

Bu makaleyi okumak için 29 Dakika

Model şirketinin bir başka işi.

Orijinal Başlık: "OpenAI'nin 11 Milyar Dolarlık Yatırım Yaptığı Hukuk Alanındaki Tek Boynuzlu At, Çin'in Açık Kaynak Modelini 'Kılıf' Olarak Kullanmaya Başladı"
Orijinal Yazar: Dongcha Beating

20 Ağustos'ta, OpenAI'nin yatırım yaptığı hukuk yapay zeka şirketi Harvey, Tenet'i piyasaya sürdü. 2022'de kurulan bu şirket şu anda 11 milyar dolar değerinde ve dünyanın en yüksek değerli hukuk yapay zeka şirketi olup binlerce kuruma hizmet veriyor. Hissedar listesinde ayrıca Sequoia, a16z ve GIC de yer alıyor.

Tenet, onun ilk özel modeli olup taban olarak Moonshot AI'nin Temmuz ayında ağırlıklarını açtığı Kimi K3'ü kullanıyor. Tenet şu anda hâlâ araştırma önizleme aşamasında ve Harvey, doğrulanmış yetenekleri kademeli olarak ürünlerine entegre etmeyi planlıyor.

Harvey'in kurucusu Winston Weinberg aslen O'Melveny & Myers'da dava avukatıydı; Gabe Pereyra ise Google Brain ve Meta'da büyük model araştırmaları yapmıştı. OpenAI ona çok erken yatırım yaptı ve ardından iki taraf birlikte yaklaşık 10 milyar token'lık ABD içtihat hukuku verisini eğitime ekleyen bir içtihat hukuku modeli eğitti. OpenAI'nin o dönem yayınladığı müşteri örneklerinde Pereyra, Harvey'in farklı seçenekleri değerlendirdiğini ve sonunda yalnızca OpenAI ile yapılan bu özel eğitime güvendiğini söyledi.

Son birkaç yıldır, neredeyse her zaman kapalı kaynak modellerin profesyonel hizmet sektöründeki en tipik müşterisi oldu ve dünyanın en güçlü kapalı kaynak modellerine erişebildi. Ancak ilk kez kendi hukuk görevlerini, avukatların değerlendirme standartlarını ve iki aylık hesaplama gücünü gerçekten bir ağırlık setine yazmaya karar verdiğinde, seçtiği taban model Çin'den gelen açık ağırlıklı bir model oldu.

Bir model yayınlandıktan sonra, sektör kısa sürede iki şeyi öğrenir: ne kadar zeki olduğu ve bu yeteneklerin ne kadara satıldığı. Birkaç saat içinde kıyaslama testleri güncellenir, Arena sıralamaları değişir ve çeşitli zeka ve fiyat koordinat grafikleri dolaşmaya başlar. Aylarca eğitilmiş ve büyük miktarda hesaplama gücü tüketmiş bir model, sonunda grafikte bir noktaya sıkıştırılır.

Çoğu geliştirici için bu yöntem hâlâ geçerlidir. Arkasındaki varsayım, modelin kullanıcıya ulaştığında yeteneklerinin büyük ölçüde sabitlenmiş olduğudur. Kapalı kaynak API'lerin baskın olduğu dönemde bu varsayım geçerliydi. Model şirketleri ön eğitim ve son eğitimi tamamlar, ardından yetenekleri bir arayüz olarak paketler. Alt işletmeler istemleri değiştirebilir, arama yapabilir, ajanlar kurabilir, ancak modelin kendisini değiştirmekte zorlanır.

Açık ağırlıklar bu varsayımı kırdı. İşletmeler ağırlıkları aldıktan sonra kendi verilerini ve uzman geri bildirimlerini ekleyebilir, gerçek görevleri ve değerlendirme standartlarını eğitime dahil edebilir. Yayınlandığında aynı 90 puanı alan iki model, aynı veri ve hesaplama gücüyle eğitime devam edildiğinde, biri sonunda 91 puanda kalırken diğeri 97 puana ulaşabilir. Aylarca zaman, hesaplama gücü ve uzman kaynakları yatırmayı planlayan şirketler için, yayınlandığında aynı olan 90 puan zaten dağlar kadar fark yaratır.

Ancak bu işin bir ön koşulu var. Bir şirketin aylarca zaman ve bir grup hesaplama gücünü daha fazla eğitime yatırmaya istekli olması için, öncelikle eğitilmeye değer bir ağırlık setine sahip olması gerekir. Son birkaç yıldır açık modeller ile en ileri düzeydeki kapalı kaynak modeller arasında her zaman bir mesafe olmuştur; genel soru-cevap ve günlük kod yazmada fark çok büyük değildir, ancak hata maliyetinin yüksek olduğu profesyonel senaryolara girildiğinde bu mesafe büyür. Hukuk da bu kategoride en yüksek gereksinimleri olan alanlardan biridir; geçmişte Harvey gibi şirketlerin çekirdek işlerine gerçekten girebilen modeller, temelde o dönemin en güçlü kapalı kaynak modelleriydi. Açık ağırlıklar elbette kontrol ve değişiklik açısından daha kolaydır, ancak en temel profesyonel görevleri bile tamamlayamıyorsa, sonraki eğitim alanından söz etmek mümkün olmaz.

Kimi K3, bu uzun süredir var olan eşiği ilk kez aştı. Toplam parametre sayısı 2,8 trilyona ulaşıyor, 100 milyon token bağlamını destekliyor ve uzun vadeli görevler, araç kullanımı ve karmaşık akıl yürütme konularında zaten iyi bir temel yetenek sunuyor. Harvey için açık ağırlık modelleri ilk kez yalnızca daha düşük maliyetli ve daha fazla kontrole sahip bir alternatif olmaktan çıkıp, öncü modellerle birlikte ciddi şekilde değerlendirilebilecek bir kapsama girdi.

Böylece, geçmişte nadiren ayrıca tartışılan bir soruyu önemsemeye başladılar: Bu ağırlık setinin daha fazla eğitilmesi ne kadar kolay?

Cursor, Composer 2'yi eğitirken yaygın programlama ajanı sıralamalarına göre model seçmedi. Değerlendirmesi şuydu: Ajan ve uzun vadeli görev yetenekleri, pekiştirmeli öğrenme sürecinde büyük ölçüde değişir; eğitim öncesindeki sıralamalar, nihai sonucu tahmin edemeyebilir. Sıralama puanlarından ziyade Cursor, modelin programlama bilgisi, durum takip yeteneği, iç kod tabanındaki perplexity değeri ve kendi altyapısındaki çalışma verimliliğine daha fazla önem verdi. Sonunda seçilen temel model Kimi K2.5 oldu.

Devin'in arkasındaki Cognition da aynı görüşe sahip. K3'ün açık ağırlıkları yayınlandıktan sonra, modeli hızla Devin Desktop ve CLI'ye entegre etti; kendi FrontierCode 1.1 Extended testinde K3, %58,2 puan ve %63,6 geçme oranı elde etti. Bu test gerçek mühendislik görevlerini inceliyor; kodun ana dala birleştirilip birleştirilemeyeceği ve kalitesinin yeterli olup olmadığı hesaba katılıyor. Cognition ayrıca K3'ün hataları yeniden üretme ve kendi çalışma ortamını yönetme konusunda özellikle iyi performans gösterdiğini belirtti; bu iki şey tam da uzun vadeli programlama görevlerinde en kolay aksayan noktalardır. Ardından bu ağırlık seti üzerinde de sonradan eğitim yaptı.

Gerçekten kıt olan hukuk verisi değil

Harvey hızla büyüyor. Bu yılın Mart ayında yaklaşık 1.300 kuruma ve 100.000'den fazla avukata hizmet veriyordu; beş ay sonra müşteri sayısı neredeyse iki katına çıktı, 70 ülkeyi kapsıyor ve AmLaw 100'deki firmaların dörtte üçünden fazlası Harvey'i kullanıyor.

Hukuk hizmetlerinde proje tutarları yüksektir ve hatalara tolerans çok düşüktür. Bir birleşme ve devralma durum tespiti raporu, yüzlerce belge arasından kontrol değişikliği hükümlerini bulmayı, işlemin tetiklenip tetiklenmediğini değerlendirmeyi, riskleri tespit edip orijinal metne dayanak eklemeyi gerektirebilir. Bu süreçte genellikle onlarca kararın art arda doğru verilmesi gerekir; işlemi gerçekten etkileyen tek bir sorunun gözden kaçırılması, önceden doğru yapılan işlerin büyük kısmını anlamsız kılar.

Hizmet verdiği hukuk bürolarının sayısı arttıkça, Harvey de temel model şirketlerinin kendi başlarına elde etmesi zor olan bir veri birikimi oluşturdu. Avukatların bir işi nasıl organize edeceğini ve sonuçları alan ortakların nereden hata bulacağını biliyor.

Bu deneyimler daha sonra Legal Agent Benchmark'a dönüştürüldü. İçinde 24 uygulama alanını kapsayan 1200'den fazla uzun vadeli hukuk görevi bulunuyor. Her görevin açıklaması ortalama yalnızca yaklaşık 50 kelimeden oluşuyor; model daha sonra kapalı bir müşteri işlem ortamına giriyor. İlgili belgeler ve çok sayıda alakasız materyal birbirine karışmış durumda; modelin kendi başına arama yapması, okuması, değerlendirme yapması ve sonunda madde madde kontrol edilebilecek bir iş çıktısı sunması gerekiyor.

Her görevde ortalama yaklaşık 50 değerlendirme kriteri bulunuyor; karmaşık görevlerde bu sayı yüzlerce olabiliyor. Gerçeklerin eksiksiz toplanıp toplanmadığı, sonuçların geçerli olup olmadığı, alıntıların orijinal metne uygun olup olmadığı, risk seviyelerinin ve önerilerin makul olup olmadığı, ayrı ayrı değerlendirilebilir puanlama maddelerine bölünüyor. Bir görev en uzun 1000'den fazla tur sürebilir ve yüz binlerce token tüketebilir.

Genç avukatlar birkaç yıl çalıştıktan sonra müşterilerin gerçekte neyden endişe duyduğunu yavaş yavaş öğrenir ve gözden kaçırılmaması gereken önemsiz görünen hükümleri hatırlar. Bu deneyimler geçmişte ders kitaplarına eksiksiz yazılması zordu; çoğunlukla ortakların düzeltmelerinde, ekip içi çalışma alışkanlıklarında ve teslim edilmiş dosyalarda kalırdı.

Harvey bunun bir kısmını görevlere, materyallere ve değerlendirme kriterlerine ayırdı; modelin her işi tamamlama süreci de hesaplanabilir ve karşılaştırılabilir bir geri bildirime sahip oldu.

İstemler ve arama, modele nereye bakacağını söyler; değerlendirme kriterleri ise başka bir soruyu yanıtlamaya başlar: Bir hukuk işi hangi seviyeye ulaştığında tamamlanmış sayılır? Harvey'in son birkaç yılda gerçekten biriktirdiği şey, müşteri ve hukuk verilerinin yanı sıra doğrudan model eğitiminde kullanılabilecek profesyonel bir değerlendirme sistemidir.

Hukuk deneyimini ağırlıklara yazmak

Bu görevler ve değerlendirme kriterleri gerçekten eğitime girmeye başladı; veriler kamuya açık hukuk materyallerinden, sentetik verilerden ve insan uzman verilerinden geliyor. Uygulama yapan avukatlar görev oluşturma, puanlama ve sentetik veri incelemesine katılıyor. Harvey toplamda yaklaşık 1750 hukuki ajan görev ortamı hazırladı.

Model, çalışma alanına materyal ve araçlarla girdikten sonra dosyaları kendisi okumalı, araçları çağırmalı ve sonuçları teslim etmelidir; sistem daha sonra avukatların belirlediği standartlara göre tüm çalışma izini kontrol eder, belirli gereksinimlerin ne kadarının tamamlandığını ve hukuki sorunların ne ölçüde çözüldüğünü değerlendirir. Tüm kritik gereksinimler karşılanırsa ekstra ödül verilir.

Her eğitim döngüsünde on binden fazla görev izi üretilir. Harvey, grup sıralama stratejisi optimizasyonu (GSPO) kullanarak modelin aynı görevde birden fazla yaklaşım geliştirmesini sağlar ve ardından sonuçlar arasındaki kalite farklarına göre ağırlıkları günceller. İki izin puanı birbirine çok yakın olduğunda, sistem yeniden puanlama yapar ve değerlendirme gürültüsünün eğitim üzerindeki etkisini azaltır.

Tüm süreç yaklaşık iki ay sürer ve yaklaşık 150 adet NVIDIA B300 kullanır. Önceden eğitilmiş bir öncü model genellikle on binlerce kart gerektirir; Harvey'in bu seferki hesaplama yatırımı farklı bir ölçektedir. Harvey, rank-64 LoRA kullanarak Kimi K3'ün dikkat katmanlarını, ileri beslemeli ağları ve yönlendirme uzman ağırlıklarını kapsar ve yaklaşık 500.000 uzman tensörünü içerir.

Uzun iz eğitimi ayrıca bir mühendislik sorunuyla karşı karşıyadır. Bir hukuki görev yüzlerce tur sürebilir; model hâlâ görev izini üretirken, eğitim tarafındaki ağırlıklar zaten güncellenmiş olur. Eğitmen bu izi geriye dönük hesapladığında, iki tarafın model durumları uyuşmazsa, o andaki her adımın eylem olasılıkları da değişir ve ödülün orijinal karara doğru şekilde uygulanması zorlaşır.

Kimi K3'ün karışık uzman yapısı bu sorunu daha da karmaşık hale getirir. Her token modele girdiğinde, yönlendirici 896 uzmandan 16'sını hesaplamaya katılmak üzere seçer. Eğitim tarafı ile yürütme tarafı arasında sayısal hassasiyet veya toplu işleme yöntemlerinde küçük farklılıklar olsa bile, aynı token farklı uzmanlara atanabilir ve orijinal iz tam olarak yeniden üretilemez.

Bu nedenle Harvey ve tedarikçisi, eğiticiyi ve yürütme ortamını çekirdek katmanında sayısal olarak hizalar. Ağırlıklar her güncelleme tamamlandığında doğrudan yürütme ortamına sıcak yüklenir ve görev üretimini tekrar tekrar durdurmaya gerek kalmaz. Sistem ayrıca token'lara karşılık gelen uzman yönlendirme sonuçlarını kaydeder, böylece eğitici yeniden hesaplarken modelin bu izi üretirken izlediği yola mümkün olduğunca geri döner.

Bu noktada Tenet, hukuki külliyatı modele ekleyen sıradan bir ince ayar gibi görünmekten çıkmıştır. Harvey'in kurduğu şey, tekrar tekrar çalıştırılabilen bir eğitim sürecidir. Hukuki görevler sürekli ortama girer, model işi tamamlar, avukatların belirlediği standartlar tüm izi değerlendirir, ağırlıklar ardından güncellenir ve yeni model bir sonraki görev turu için ortama geri döner.

Kimi K3'ün istikrarlı bir şekilde eğitilmeye devam edilip edilemeyeceği, bu döngü içinde pratik olarak test edilerek doğrulanır.

Eğitimin ardından, daha çok bir hukuk ajanına benziyor

Harvey'in gerçekten geliştirmek istediği şey, modelin uzun soluklu hukuki görevleri tamamlama yeteneğidir. Çok katı bir all-pass yaklaşımı benimsemiştir; bir görevdeki kritik puanlama kriterlerinin tamamının geçilmesi gerekir. Harvey'in yayınladığı dahili sonuçlara göre, eğitime dahil edilmeyen LAB tutma setinde, Tenet'in tamamladığı görev sayısı orijinal Kimi K3'ün neredeyse iki katıdır; all-pass oranı yaklaşık %11'den %19,7'ye yükselerek yaklaşık 9 puanlık bir artış sağlamıştır.

Sözleşme taslağı hazırlama, inceleme ve müzakereyi test eden LAB Contracts'ta, tamamlanan görev sayısı yaklaşık %20 artmış, all-pass oranı %11,3'e ulaşarak yaklaşık 2 puanlık bir iyileşme göstermiştir. Harvey'in kendi sıralamasına göre, Tenet LAB Contracts'ta birinci, tam LAB'de ise ikinci sıradadır.

Ardından Tenet'i iki harici test setine sokmuştur: Mercor'un APEX Agents Corporate Law ve Crosby'nin Redline Bench'i. İlki simüle edilmiş çalışma ortamındaki uzun soluklu profesyonel görevleri test ederken, ikincisi modelin sözleşmeleri art arda değiştirmesini ve ardından avukatların belirlediği standartlara göre puanlanmasını gerektirir.

Tenet bu iki test setinin eğitim verilerine maruz kalmamıştır; buna rağmen sonuçlar hâlâ orijinal Kimi K3'ten belirgin şekilde yüksektir; bu da Harvey görev ortamında geliştirilen yeteneklerin yeni hukuki görevlere aktarılabileceğini göstermektedir.

Ancak bir diğer sorun, profesyonel sonradan eğitimin modeli belirli bir iş türünde giderek daha yetkin hale getirirken, orijinal bilgi ve akıl yürütme yeteneklerinin bir kısmını kaybetmesine neden olabilmesidir.

LegalBench, CUAD ve MAUD üzerinde Tenet belirgin bir gerileme göstermemiştir. Scale Professional Reasoning Benchmark'ın zor alt kümesinde ise puan %36,0'dan %36,8'e hafif bir artış göstermiştir. En azından bu sonuç grubuna göre, Kimi K3 hukuki görevlerde daha güçlü hale geldikten sonra belirgin bir yetenek unutma sorunu yaşamamıştır.

Harvey'in ödül tasarımı, sonuç kalitesi yakın olduğunda daha kısa yörüngeleri tercih eder; çünkü hukuk ajanı her ek dosya okuduğunda veya her araç çağrısı yaptığında token tüketimi ve bekleme süresi artar. Eğitimin ardından Tenet bazı gereksiz adımları azaltmış, görev kalitesi artarken işi tamamlama maliyeti büyük ölçüde sabit kalmıştır.

Bu son eğitim sonrası değişiklik, daha çok Kimi K3'ün karmaşık hukuki işleri ele alma biçimini etkiledi. Artık adımları daha iyi planlıyor, araçları daha etkili çağırıyor ve görevlerdeki kritik gereksinimleri daha az kaçırıyor.

Harvey, 2025 gibi erken bir tarihte çok modelli bir strateji benimsemeye başladı ve bu yıl OpenAI ile Anthropic'in yeni modellerini entegre etmeye devam ediyor. Tenet, bu sisteme ilk kez Harvey'in kendi eğittiği ve kontrol ettiği açık ağırlıklı bir model ekledi.

Bunun için, temeli zaten sağlam olan bir model gerekiyor. Harvey'in hukuki görevleri büyük miktarda dosyayı işlemeyi, yüzlerce hatta binlerce tur işlemi sürekli yürütmeyi ve modelin uzun çalışma süreci boyunca durumu korumasını gerektirebilir. Eğitim sonrası, modelin hukuki işleri ele alma biçimini şekillendirmeye devam edebilir, ancak temelde var olmayan bir yeteneği sıfırdan tamamlamak zordur.

Bir diğer koşul ise kontrol. Harvey, GPT ve Claude'u API üzerinden çağırabilir, ancak 1750 hukuki görev ortamını ve avukat değerlendirme standartlarını bu kapalı kaynak modellere yazamaz. Açık ağırlıklar, eğitimin nasıl yapılacağına ve ödüllerin nasıl tasarlanacağına kendisinin karar vermesine olanak tanır ve eğitilmiş uzmanlık yeteneklerini kendi elinde tuttuğu ağırlıklarda saklayabilir.

Ancak ağırlıkları aldıktan sonra, bu modelin daha fazla eğitim için uygun olup olmadığını değerlendirmek gerekir. Uzun yörüngeli pekiştirmeli öğrenmenin istikrarlı bir şekilde çalışıp çalışamayacağı, karma uzman yönlendirmesinin doğru bir şekilde yeniden üretilip üretilemeyeceği, uzmanlık yetenekleri arttığında orijinal bilginin kaybolup kaybolmayacağı ve çıkarım maliyetinin üretimde kullanılabilir bir aralıkta kontrol edilip edilemeyeceği, gerçekten bir kez denenmeden bilinemez.

Tenet iki ay çalıştıktan sonra, Kimi K3 bu turun cevabını verdi. Eğitim süreci istikrarlı bir şekilde çalışabildi, hukuki görev yeteneklerinde belirgin bir artış görüldü, belirgin bir yetenek unutması yaşanmadı ve maliyetler etkiyle birlikte kontrolden çıkmadı.

Harvey için bu sonuçlar, "açık ağırlık" kavramının kendisinden daha önemli. Ağırlıkların indirilebilir olması, yalnızca şirketin eğitime devam etme hakkına sahip olduğunu gösterir. Eğitimden sonra ne kadar yetenek kalacağı, bu modelin hesaplama gücü, veri ve uzman zamanı yatırımına değip değmeyeceğini belirler.

Model şirketlerinin başka bir işi

Harvey, hedefinin hukuk bürolarının açık ağırlıklar üzerinde kendi özel modellerini eğitebilmesi ve eğitim sonrası oluşan yeteneklere sahip olabilmesi olduğunu söylüyor. Tenet'in ortaya koyduğu şey, bir modelden ziyade bir yöntem seti.

Geçmişte, temel model şirketlerinin işi çoğunlukla model yayınlandıktan sonraki çağrılarda gerçekleşirdi. Açık ağırlıklar, başka bir ilişki biçimi getirdi: bir şirket, hazır bir temel modeli alıp eğitime devam edebilir, kendi sektör bilgisini ağırlıklara işleyebilir ve sonunda kendi işine daha yakın bir model elde edebilir.

Bu tür taleplerin gerçek bir pazar oluşturması eskiden çok zordu. Genel modellerin yetenekleri yeterince güçlü olmadığında, dikey şirketler ağırlıkları elde etseler bile yalnızca sonradan eğitimle uzun vadeli akıl yürütme, araç çağırma ve karmaşık görev işleme eksiklerini kapatmakta zorlanıyordu. Sıfırdan ön eğitim yapmak ise çok maliyetliydi ve çoğu şirketin buna ihtiyacı bile yoktu.

Cursor, programlama alanında Composer 2'yi eğitti; Cognition da aynı ağırlıklar üzerinde Devin'in kullandığı modeli eğitmeye devam etti; Harvey ise hukuk alanında Tenet'i geliştirdi. Programlama ve hukuk birbirinden çok uzak olmasına rağmen, ikisi de Kimi'nin önceden eğitilmiş genel yeteneklerinden yola çıkarak kendi en iyi bildikleri profesyonel işleri eklemeyi seçti.

Tenet ayrıca bu işin eşiğini somut hale getirdi. İki ay, yaklaşık 150 GPU ve uygulamalı avukatlar tarafından tanımlanan bir değerlendirme kriteri setiyle, bir şirket genel ağırlıkları kendi sektörünün ön saflarına taşıyabilir. Hesaplama gücü eşiği bir büyüklük sırası düştü; kopyalanması daha zor olan kısım diğer uca kaymaya başladı: Bir profesyonel işin hangi seviyede tamamlanmış sayılacağını net bir şekilde açıklayabilen biri var mı?

Yazılım geliştirme ve hukuk, ortaya çıkan yalnızca iki örnek. Finans, danışmanlık, ilaç, muhasebe ve çok sayıda profesyonel hizmet sektörü, kendi verilerine, iş akışlarına ve uzman değerlendirmelerine sahip. Bu sektörler, trilyon dolarlarla ölçülen bilgi çalışması pazarlarıdır. İçlerindeki en üst düzey şirketler mutlaka kendi temel modellerini ön eğitimden geçirmek zorunda değil, ancak giderek daha fazla olgun ağırlıklar üzerinde kendi modellerini eğitme imkânına sahipler.

Bu yol geçerliliğini korumaya devam ederse, Kimi'nin karşı karşıya olduğu pazar artık yalnızca kaç kişinin onu çağırdığı değil. Bundan sonra daha dikkat çekici olan şey, Harvey, Cursor ve Devin'in ardından kaç şirketin daha Kimi üzerinde kendi modellerini eğitmeyi seçeceği.