Video başlığı: Silicon Valley Vector x Fireworks Kurucu Ortağı Benny Chen: Açık kaynak modeller, token büyüme hızı, çıkarım optimizasyonu ve model özelleştirme
Video yazarı: Silicon Valley Vector 硅谷坐标
Editör: Peggy, BlockBeats

Editörün notu: Açık kaynak modellerin kapalı kaynak öncü modellere yaklaşma hızının arttığı ve çıkarım fiyatlarının düşmeye devam ettiği bu bağlamda, sektördeki tartışma "kim en güçlü modele sahip" sorusundan "kim modeli daha düşük maliyetle üretime sokabilir" sorusuna kayıyor. Ancak model yetenekleri birbirine yaklaştıkça ve token tüketimindeki artış ortak bir görüş haline geldikçe, daha temel bir soru ortaya çıkıyor: İşletmeler gerçekten ne için ödeme yapmaya istekli—daha ucuz model çağrıları mı, yoksa belirli görevleri istikrarlı şekilde tamamlayabilen özel zekâ mı?

Son günlerde, "Silicon Valley Vector" sunucusu Cao Qingyun, Fireworks AI kurucu ortağı Chen Yufei ile bir söyleşi gerçekleştirdi. Fireworks, modeller ile kurumsal uygulamalar arasında konumlanıyor ve müşterilere öncelikle açık kaynak model çıkarımı, performans optimizasyonu ve özelleştirme hizmetleri sunuyor. Açık kaynağın kapalı kaynağı yakalayıp yakalayamayacağını salt tartışmak yerine, Chen Yufei'nin gözlemleri gerçek iş yüklerine daha yakın: Token'lar nereye akıyor, işletmeler neden ödeme yapıyor ve modellerin kavram kanıtından üretime geçmesi için ne eksik.

Bu söyleşide Chen Yufei, "açık kaynak mı kapalı kaynak mı kazanacak" sorusunu daha temel bir dizi yapısal soruna ayırıyor: Token büyümesi gelire dönüşebilir mi, genel yetenekler dikey birikimin yerini alabilir mi, düşük fiyatlı modeller kurumsal değerlendirmelerden geçebilir mi ve çıkarım platformları bulut sağlayıcıları ile uygulama şirketleri arasında nasıl değer elde edebilir.

Birincisi, açık kaynak modellerin kullanım ölçeği ile ticari değeri ayrışmaya başlıyor. Geçmişte, yetenek yakalama ve çağrı fiyatı açık kaynak rekabet gücünü değerlendirmenin ana göstergeleriydi; şimdi ise Fireworks platformu günde yaklaşık 40 trilyon ila 50 trilyon token işliyor ve açık kaynak modellerin gerçek kullanımı hızla genişledi. Ancak ücretsiz trafik, promosyon sübvansiyonları ve model fiyat farklılıkları, token istatistiklerinin bazı talepleri olduğundan fazla tahmin etmesine neden olabilir. Müşteriler düşük fiyatlı modelleri yoğun şekilde çağırabilir, ancak yine de en yüksek bütçeyi en iyi performansı gösteren kapalı kaynak modele ayırabilir. Bu, açık kaynağın bir sonraki aşamasının yalnızca trafiği artırmak değil, yüksek değerli görevlerde öncü modellere ulaşabileceğini hatta onları aşabileceğini kanıtlamak ve maliyet avantajını ödeme isteğine dönüştürmek olduğu anlamına geliyor.

İkincisi, genel modeller ile dikey modeller farklı yönlerde evrilmeye başlıyor. Geçmişte, her öncü model güncellemesi bir dizi ince ayarlı modeli doğrudan eleyebilirdi; şimdi ise hukuk, tıp, programlama gibi dikey uygulamalar daha ayrıntılı değerlendirmeler, veriler ve iş akışları biriktiriyor ve optimizasyon hedefleri öncü laboratuvarlardan giderek ayrışıyor. Genel modellerin yetenek üst sınırını artırması gerekirken, dikey modellerin sınırlı senaryolarda istikrarlı sonuçlar sunması gerekiyor. İlki daha geniş sorunları çözebilir, ikincisi ise kullanıcıların "doğru"yu nasıl tanımladığını daha iyi anlar. Bu, dikey şirketlerin savunma duvarının yalnızca özelleştirilmiş bir modele sahip olmak değil, sektör ihtiyaçlarını sürekli olarak değerlendirme sistemlerine dönüştürebilmek ve temel model güncellemeleriyle birlikte tekrar tekrar taşıyabilmek olduğu anlamına geliyor.

Üçüncüsü, kurumsal yapay zekâ uygulamasının darboğazı model arzından değerlendirme yeteneğine kayıyor. Geçmişte, kurumsal kavram kanıtlama çalışmaları genellikle deneyim ve öznel yargıya dayanıyordu; şimdi, yapay zekâ çağrı merkezleri, hukuk araştırmaları ve tıbbi yardım gibi üretim süreçlerine girdiğinde, yalnızca "iyi görünüyor" olması satın alma kararlarını desteklemek için yeterli değil. İşletmeler, modellerin hangi görevlerde etkili olduğunu, ne zaman başarısız olduğunu ve kapalı kaynaktan açık kaynağa geçişin maliyet ve kaliteyi ne kadar değiştireceğini bilmek zorunda. Bu nedenle değerlendirme artık yardımcı bir araç değil, satın alma, eğitim ve üretim dağıtımını birbirine bağlayan temel bir altyapıdır. Görevleri tanımlayabilen, test dağılımları oluşturabilen ve standartları sürekli güncelleyebilen, model seçiminde gerçek anlamda söz sahibi olur.

Dördüncüsü, çıkarım platformlarının değeri "ucuz hesaplama satmaktan" modelleri, donanımı ve iş akışlarını organize etmeye doğru kayıyor. Geçmişte, çıkarım optimizasyonu esas olarak tek bir Token'ın maliyetini düşürmek olarak anlaşılıyordu; şimdi, önbellekleme, görev bölümleme, model yönlendirme ve bağlam yönetimi doğrudan görev tamamlama oranını değiştirebilir. Farklı modellerin aynı konum için rekabet etmesi gerekmez; bunun yerine biri uygulayıcı, diğeri danışman rolünü üstlenebilir. Fireworks'ün iş mantığı da buradan doğuyor: ağır donanım varlıkları inşa etmek yerine, eğitim, özelleştirme ve sürekli çıkarım yoluyla geliri müşteri modelinin gerçek kullanımına bağlıyor. Ancak bu yolun ana rakibi tek bir yeni bulut şirketi değil, hesaplama gücünü, yazılımı ve müşteri girişini aynı anda kontrol edebilen büyük bulut sağlayıcılarıdır.

Beşincisi, açık kaynak modellerin yükselişi mutlaka altyapı talebini zayıflatmaz; aksine model katmanındaki primi sıkıştırabilir ve değeri daha da çıkarım ile hesaplama gücüne itebilir. Teknoloji devlerinin sermaye harcamalarını artırmaya devam etmesi yalnızca kısa vadeli getirileri hesaplamak değil, aynı zamanda yapay zekâ döngüsünü kaçırmanın uzun vadeli riskini ölçmektir. Ancak dış finansmana bağımlı yeni bulut şirketleri için borç maliyeti, proje gecikmeleri ve geri ödeme süreleri daha doğrudan kısıtlamalar oluşturmaya devam edecektir. Modeller giderek ucuzlasa da, yapay zekâ sistemlerini kurmak ve çalıştırmak da aynı şekilde hafifleyecek anlamına gelmez.

Bu konuşmayı tek bir yargıya indirgersek: açık kaynak modellerin yakalaması yalnızca bir başlangıçtır; yapay zekâ ticarileşmesinin bir sonraki aşaması değerlendirme, özelleştirme, çıkarım verimliliği ve müşteri iş akışları etrafında şekillenecektir.

Aşağıda orijinal içerik yer almaktadır (okuma kolaylığı için yeniden düzenlenmiştir):

TL;DR

·Açık kaynak modeller kapalı kaynak modelleri hızla yakalıyor, ancak Token büyümesi gelir büyümesi anlamına gelmiyor; kurumsal bütçeler hâlâ öncelikle en iyi performansı gösteren modellere akıyor.

·Damıtma yalnızca açık kaynak modellerin kısa vadede farkı kapatmasına yardımcı olabilir; uzun vadeli rekabet gücü hâlâ bağımsız eğitim, değerlendirme verileri, yetenek ve hesaplama gücüne bağlıdır.

·Genel model yükseltmeleri artık dikey modelleri mutlaka ortadan kaldırmıyor; hukuk, tıp gibi alanlardaki engeller model yeteneğinden değerlendirme, veri ve iş akışlarına kayıyor.

·Kurumsal yapay zekânın PoC'den üretime geçişinin anahtarı model seçeneklerini artırmak değil, kaliteyi, maliyeti ve başarısızlık sınırlarını ölçebilen bir değerlendirme sistemi kurmaktır.

·Çıkarım optimizasyonu, tek token maliyetini düşürmekten önbellekleme, görev bölümleme ve model yönlendirmeye genişledi; sistem tasarımının kendisi, çoklu model kombinasyonlarının tek bir öncü modeli aşmasını sağlayabilir.

·Özel modeller, benzer müşteri gruplarını kapsayan dikey SaaS platformları için daha uygundur; tek bir işletme genellikle yeterince geniş bir veri dağılımına ve sürekli değerlendirme kapasitesine sahip değildir.

·Fireworks'ün rekabet gücü GPU bulundurmakta değil, eğitim, özelleştirme ve sürekli çıkarımı bağlamaktadır; ancak gerçek uzun vadeli rakip, tam teknoloji yığınını kapsayabilen bulut devleridir.

·Açık kaynak modellerin yaygınlaşması donanım talebini mutlaka zayıflatmaz; bu daha çok model katmanındaki primleri sıkıştırabilir ve endüstri değerini hesaplama gücü, çıkarım altyapısı ve kurumsal iş akışlarına yeniden dağıtabilir.

Röportaj Öne Çıkanlar

Açık kaynak yakalamaya devam edecek, ancak distilasyon uzun vadeli bir çözüm değil

Fireworks ekibi büyük ölçüde Meta'nın PyTorch ekosisteminden geliyor. Geçmişte işletim sistemleri, veritabanları gibi yazılımlardaki gelişim deneyimlerine dayanarak, ekip uzun süredir önemli değere sahip yazılımların sonunda rekabetçi açık kaynak çözümlerine sahip olacağına inanıyor. Büyük dil modelleri benzer bir yol izleyebilir, ancak bu turdaki yakalama hızı Chen Yufei'nin başlangıçta tahmin ettiğinden daha hızlı.

Bir yandan OpenAI, Anthropic gibi kapalı kaynak model şirketlerinin yıllık yinelenen gelirleri hızla artmaya devam ediyor; diğer yandan Çin ve ABD'deki açık kaynak modeller de yetenek farkını hızla kapatıyor ve çıkarım fiyatlarını çok düşük seviyelere indiriyor. Açık kaynak ve kapalı kaynak, birinin büyümesinin diğerinin kaçınılmaz düşüşü anlamına geldiği sıfır toplamlı bir ilişki değil.

Bazı açık kaynak modellerin kapalı kaynak model çıktılarıyla distilasyon yapması konusunda Chen Yufei, bu yöntemin modellerin kısa vadede yüksek seviyelere ulaşmasına yardımcı olabileceğini, ancak güvenilir bir uzun vadeli yol olmasının zor olduğunu düşünüyor. Kapalı kaynak sağlayıcılar, API ve güvenlik mekanizmalarını kademeli olarak yamalayarak çıkarım sürecinin ve ilgili verilerin çıkarılma olasılığını azaltabilir.

Ancak açık kaynak modellerin ilerlemesi tamamen distilasyona bağlı değil. Değerlendirme sistemleri gelişmeye devam ettiği, veri maliyetleri düşmeye devam ettiği ve yeterli yetenek, GPU ve mühendislik kapasitesi olduğu sürece, açık kaynak ekipler bağımsız olarak rekabetçi modeller eğitebilir. Meta gibi hesaplama gücü ve yetenek havuzuna sahip şirketlerin, kapalı kaynak öncü modellerle uzun süre büyük bir farkı korumaması için hiçbir neden yok.

Bu, kapalı kaynak modellerin pazarı kaybedeceği anlamına gelmiyor. Chen Yufei ikisini Apple ve Android'e benzetiyor: açık ekosistem daha büyük bir kullanım ölçeğini üstlenebilirken, sürekli lider olan kapalı kaynak ürünler istikrarlı deneyim, marka bilinirliği ve kurumsal güven sayesinde fiyat duyarlılığı düşük yüksek değerli müşterileri koruyabilir.

Kurumsal satın alma genellikle muhafazakâr bir eğilim gösterir. "IBM satın aldığı için kimse işten atılmaz" ifadesi tam olarak bu karar psikolojisini tanımlar. Müşteriler, başta kapalı kaynak modelleri satın almanın daha güvenli olduğuna inanmaya devam ettiği sürece, OpenAI, Anthropic gibi şirketler belirli bir avantajı sürdürebilir. Kısa vadeli teknolojik farktan ziyade, kullanıcı zihniyeti ve pazara giriş yeteneği değiştirilmesi daha zor olabilir.

Chen Yufei, ARR'nin kapalı kaynak model şirketleri için artmaya devam edeceğini, ancak bu rakamın nihai olarak elde edecekleri ekonomik faydayı tam olarak yansıtmayabileceğini öngörüyor. Örneğin, bazı gelirler bulut sağlayıcılarıyla paylaşılabilir; ARR'deki artış, muhasebe geliri ve kârda aynı oranda bir artışa dönüşmeyebilir. Kapalı kaynak modellerin pazarlık gücünün düşüp düşmediği, ancak ilgili şirketlerin daha eksiksiz finansal bilgileri açıklamasından sonra değerlendirilebilir.

Uzun vadede, açık kaynak daha büyük bir çağrı hacmi elde edebilirken, kapalı kaynak daha yüksek kâr marjlı talepleri kontrol etmeye devam edecektir. İkisi arasındaki ticari sınırı yalnızca model yetenekleri değil, aynı zamanda marka, kanal, müşteri güveni ve gelir dağıtım yöntemleri belirler.

Token'lar açık kaynağa akıyor, ancak gelir hâlâ etkiyi takip ediyor

Chen Yufei'ye göre, Fireworks platformu şu anda günde yaklaşık 40 trilyon ila 50 trilyon Token işliyor. Alıntı yaptığı kamuya açık verilere göre, bu hacim Gemini ve OpenAI'in açıkladığı kurumsal API trafiğini aşmış durumda.

Platformdaki ana talepler programlama, sağlık, ofis iş birliği ve derin araştırmadan geliyor. Bunların arasında, giderek artan sayıda programlama olarak görülmeyen görev, "programlama sorunu" olarak yeniden tanımlanıyor.

PowerPoint, Excel gibi ofis yazılımları tipik örneklerdir. Model bu yazılımları kod veya yapılandırılmış araçlarla çalıştırabildiğinde, mevcut kod üretimi, araç çağrısı ve pekiştirmeli öğrenme yöntemleri ofis senaryolarına aktarılabilir. Birçok dikey SaaS şirketi de sektör araçlarını modelin çağırabileceği ortamlar olarak paketliyor ve ardından pekiştirmeli öğrenme yoluyla modeli belirli iş akışlarına alıştırıyor.

Chen Yufei mevcut talebi kabaca iki kategoriye ayırıyor: biri programlama, diğeri derin araştırma. Farklı dikey uygulamalar, hukuk, sağlık, ofis gibi senaryolara yönelik özel Ajanlar oluşturmak için bu ikisini birleştirecek.

Özellikle teknik olmayan kullanıcılara yönelik ofis iş birliği ürünlerine olumlu bakıyor. Daha önce sektördeki kaynakların çoğu matematik, programlama gibi "fen bilimleri öğrencisi ihtiyaçlarına" yatırılmıştı; ancak slayt oluşturma, belge işleme ve video üretme gibi geniş bilgi çalışanlarına yönelik talepler daha hızlı büyüyebilir.

Bilgisayar işletim Ajanlarının gelişimi ise önceki beklentilerden daha yavaş ilerliyor. Bir yıldan fazla bir süre önce, bu tür ürünlerin karmaşık API'leri atlayıp insanlar gibi doğrudan bilgisayar kullanabileceği düşünülüyordu; gerçek gelişimde, işletmeler maliyetleri düşürmek için iş akışlarını daha çok saf metne yönlendirdi. Metin modelleri daha ucuz ve mevcut süreçlere entegre edilmesi daha kolay. Sanal makine maliyetlerinin düşmesi ve çalışma ortamlarının iyileşmesiyle, bilgisayar işletim Ajanları daha fazla alan kazanabilir, ancak spesifik optimizasyon yolları hâlâ araştırılıyor.

Ancak, Token büyümesi doğrudan ticari değeri temsil edemez. Kamuya açık model yönlendirme listeleri genellikle ücretsiz kotalar ve tanıtım kampanyalarından etkilenir; aynı miktarda Token da tamamen farklı fiyatlara karşılık gelebilir. Düşük fiyatlı modellerin ürettiği trafik ile pahalı öncü modellerin ürettiği trafik, gelir açısından aynı anlama gelmez.

Chen Yufei, gelirin Token sayısından daha çok müşterilerin gerçek tercihlerini yansıttığını düşünüyor. İşletmeler fiyata duyarlı olmadığında, bütçe yine de en iyi performansı gösteren modele akacaktır. Bu nedenle Fireworks, müşterilere model özelleştirmede yardımcı olurken, birincil hedef genellikle "uygun fiyatlı ve iyi" olmak değil, belirli görevlerde önde gelen kapalı kaynak modellerine ulaşmak hatta onları aşmaktır.

Programlama pazarında da kullanım ile gelir arasında bir ayrışma söz konusudur. Token tüketimi büyük olasılıkla artmaya devam edecek, ancak yaygın modeller fiyatlarını düşürmeye devam ederse, daha düşük fiyatlar daha fazla çağrıyı teşvik edecek, ancak pazar gelirini aynı oranda artırmayabilir. Elektriğin yaygınlaşmasının kârın tamamının enerji üreticilerine gitmesi anlamına gelmediği gibi, AI çağrı hacmindeki artış da endüstri değerinin hangi katmanda kalacağı sorusuna doğrudan cevap veremez.

Önümüzdeki dönemde açık kaynak modellerin kullanımı artmaya devam edebilir, ancak ilgili harcamaların aynı oranda büyüyüp büyümeyeceği, işletmelerin özelleştirme için kaynak ayırmaya istekli olup olmadığına bağlıdır. Giderek daha fazla şirket, özelleştirilmiş açık kaynak modellerin belirli görevlerde kapalı kaynak modellere meydan okuyabilmesini sağlarsa, trafik ve gelir açık kaynağa daha fazla kayacaktır; özelleştirme maliyetleri, başarısızlık oranları ve organizasyonel yetenekler engel olmaya devam ederse, kapalı kaynak modeller yüksek değerli talebin büyük kısmını üstlenmeye devam edecektir.

Genel modeller yetenek sınırını yükseltir, dikey modeller görev bariyerleri biriktirir

Her yeni öncü model piyasaya sürüldüğünde, piyasa yeniden şu soruyu gündeme getirir: İşletmelerin veri ve fon yatırımıyla ince ayar yaptığı modeller hızla değerini kaybeder mi?

Chen Yufei, 2025'te gerçekten de birçok özelleştirilmiş modelin yeni nesil temel modeller tarafından değiştirildiğini, ancak 2026'ya gelindiğinde bu durumun belirgin şekilde azaldığını belirtiyor. Ona göre bu, dikey modellerin ticari değerinin giderek istikrar kazandığının olumlu bir işareti.

Bunun nedeni, genel modeller ile dikey uygulamaların farklı yönlerde optimize edilmesidir. Öncü laboratuvarlar, modellerin daha zor matematik, bilim ve ilaç araştırma problemlerini çözebildiğini kanıtlamak zorundadır; hukuk, sağlık gibi dikey şirketler ise belirli kullanıcı ihtiyaçlarına, görev tamamlama oranlarına, alıntı doğruluğuna ve iş akışlarının güvenilirliğine odaklanır.

"Dikey bir alanda bir Agent'ı iyi yapmak ile Riemann Hipotezi'ni çözmek tamamen farklı iki iş olabilir."

Hukuk AI şirketi Harvey'i örnek alırsak, avantajı yalnızca hangi temel modeli kullandığından değil, aynı zamanda hukuk görevlerinin ayrıştırılmasından, değerlendirme sistemlerinden, veri işlemeden ve ürün süreçlerinden gelir. Sağlık senaryolarında da durum benzerdir; farklı ürünler, doktorların çalışma biçimine, kaynaklara ve doğruluk gereksinimlerine göre özel standartlar oluşturmalıdır.

Bu değerlendirmeler ve veriler, yeni model yayınlandığında otomatik olarak geçersiz olmaz. Temel model yükseltildiğinde, dikey şirketler mevcut eğitim ortamını yeni modele taşıyabilir, tüm sektörü yeniden anlamak zorunda kalmaz. Değerlendirmeler giderek daha detaylı hale geldikçe ve veri temizleme süreçleri olgunlaştıkça, dikey modeller belirli görevler etrafında sürekli birikim yapan bir yetenek oluşturur.

Teorik olarak, ön saflardaki model şirketleri kaynaklarını hukuk veya sağlık pazarlarına yoğunlaştırarak tek bir alanda mevcut ürünleri yenebilir. Ancak bu yaklaşım, ticari hedefleriyle örtüşmeyebilir. Genel model şirketleri geniş bir müşteri tabanına hizmet etmek zorundadır; eğer büyük miktarda kaynağı dikey bir alana yatırırlarsa, hedefledikleri pazar büyüklüğünü ve değerlemeyi sürdürmekte zorlanabilirler.

Chen Yufei, genel modelleri geniş bir yelpazede damak zevkine hitap etmesi gereken zincir restoranlara benzetirken, dikey modelleri ise az sayıda yemeğe odaklanan restoranlara benzetiyor. İkincisinin tüm sorunları çözmesi gerekmez; hedef görevde genel çözümlerden belirgin şekilde üstün olması yeterlidir ve bağımsız bir ödeme alanı oluşturabilir.

Bu dengesiz ama son derece uzmanlaşmış yetenek, onun tarafından "Jagged Intelligence" olarak da adlandırılıyor. Bir hukuk modeli Riemann Hipotezi'ni çözemeyebilir, ancak belirli hukuk görevlerinde daha büyük genel modelleri geçebilir. Kurumsal müşteriler için, işi güvenilir şekilde tamamlayabilmek, modelin daha geniş yeteneklere sahip olmasından genellikle daha önemlidir.

Tüm işletmeler özel modeller için uygun değildir. Chen Yufei, en uygun müşterilerin çok sayıda benzer kuruma hizmet veren dikey SaaS şirketleri olduğunu, tek bir hastane, hukuk bürosu veya son kullanıcı işletmesi olmadığını düşünüyor.

Dikey SaaS platformları çok sayıda müşteriye erişebilir, farklı kurumlar arasındaki ortak ihtiyaçları anlayabilir ve daha fazla durumu kapsayan değerlendirme sistemleri kurabilir. Tek bir işletme genellikle yeterince geniş bir veri dağılımına ve sürekli değerlendirme yeteneğine sahip değildir; bağımsız model eğitmek yerine, iç süreçleri becerilere, araçlara veya Agent'lara dönüştürmek ve ardından görevleri tamamlamak için harici temel modelleri çağırmak daha iyidir.

Özel güçlendirilmiş öğrenme projelerinde GPU ana maliyettir; veri ve eğitim ortamı da aynı derecede kritiktir. Ekip, modelin ödül korsanlığı yapıp yapmadığını kontrol etmelidir; yani değerlendirme açıklarından yararlanarak yüksek puan alıp aslında görevi tamamlamaması durumunu. Ayrıca eğitim ortamının istikrarlı olduğundan ve eğitim ölçeğinin genişletilebildiğinden emin olunmalıdır.

Başlangıç ortamının yüz binlerce kayda ulaşması gerekmez. Chen Yufei, bin eğitim ortamının güçlendirilmiş öğrenmeyi başlatmak için yeterli olabileceğini belirtiyor; çünkü model eğitim sürecinde tekrar tekrar keşif yaparak çok sayıda yörünge üretir. Her eğitim adımında bir ortamda 128 kez çalıştırıldığını varsayarsak, bin başlangıç verisi yaklaşık 128.000 eğitim yörüngesi üretebilir.

Özel model devreye girdikten sonra hâlâ "yeniden işlenmesi" gerekir. Yeni bir açık kaynak temel model yayınlandığında, platform mevcut eğitim ve değerlendirme sistemini yeni modele taşıyabilir. Değerlendirme standartları ve görev ortamı sabitlendiyse, taşıma işlemi mutlaka zaman alıcı değildir; asıl sürekli iş yükü, müşterilerin yeni senaryolar, iş akışları ve daha zor görevler eklemesinden kaynaklanır.

Bu nedenle, dikey şirketlerin temel varlığı belirli bir model neslinin ağırlıkları değil, temel model güncellemeleriyle tekrar tekrar taşınabilen veri, değerlendirme ve iş akışlarıdır.

Kurumsal Yapay Zeka PoC'de Takılı Kaldı, Eksik Olan Model Değil Değerlendirme

İşletmelerin açık kaynak mı yoksa kapalı kaynak model mi seçeceği konusunda öncelikli düşündüğü şey yalnızca performans ve fiyat değil, güvendir.

Kurumsal sözleşmeler genellikle bir ila iki yıl sürdüğünden, satın alan tarafın hizmet sağlayıcının ve ekosisteminin iş ihtiyaçlarını uzun vadede destekleyip destekleyemeyeceğini değerlendirmesi gerekir. Açık kaynak modeller daha ucuz ve daha esnek olabilir, ancak kapalı kaynak sağlayıcılar marka bilinirliği, başarı hikayeleri ve pazar algısı açısından hâlâ avantajlıdır.

Chen Yufei, açık kaynak modellerin ve hizmet sağlayıcılarının en belirgin eksikliğinin teknoloji değil, pazara giriş yeteneği olduğunu düşünüyor. Kapalı kaynak model şirketleri sürekli olarak yeni yetenek gösterimleri ve araştırma sonuçlarıyla kullanıcı algısını güçlendirebilirken, açık kaynak ekosistemi birleşik bir pazarlama ve müşteri iletişim sisteminden yoksundur.

Dağıtım yöntemleri de değişiyor. Erken dönemde işletmeler yerel dağıtıma daha çok odaklanırken, günümüzde giderek daha fazla iş yükü buluta taşınıyor. Hizmet sağlayıcı güvenlik, sanal özel bulut gibi alanlarda güven tesis edebildiği sürece, çok kiracılı bulut hizmetleri genellikle kurumsal özel GPU'lardan daha ekonomiktir.

Tek bir işletme bir grup GPU'nun her zaman yüksek kullanım oranında kalmasını sağlayamayabilir; platform ise farklı müşterilerin taleplerini birleştirerek donanım verimliliğini artırabilir. Çıkarım maliyetlerinin kurumsal operasyon giderlerindeki payı arttıkça, paylaşılan altyapının getirdiği maliyet avantajı daha da belirgin hale gelir.

İşletmelerin kavram kanıtından üretime geçmesindeki en büyük engellerden biri ise titiz değerlendirme eksikliğidir. Birçok şirket, yapay zekayı çağrı merkezleri gibi önemli alanlarda kullanmış olsa bile, model etkinliğini değerlendirme yöntemi hâlâ hisse dayalı denemeye yakındır; tekrarlanabilir test standartları oluşturmak yerine.

Değerlendirme olmadan, işletmeler ne açık kaynak ile kapalı kaynak modelleri istikrarlı bir şekilde karşılaştırabilir ne de model güncellemelerinin işi gerçekten iyileştirip iyileştirmediğini belirleyebilir. Bu nedenle Chen Yufei, yapay zeka değerlendirmesi tasarlayabilen yeteneklerin hâlâ nadir olduğunu düşünüyor. Güvenilir bir değerlendirme sistemi, işletmelerin model değişimini tamamlamasına yardımcı olabilir ve kurulum maliyetinden çok daha yüksek uzun vadeli harcamalardan tasarruf sağlayabilir.

Bu, geleneksel yazılım şirketlerindeki birim testlerinden temelde farklı değildir. Geçmişte SaaS şirketlerinin yazılım tesliminden önce bir dizi test çalıştırması gerekiyordu; günümüzde dikey yapay zeka şirketlerinin, Agent'ın üretime girmeden önce ilgili standartları karşıladığını doğrulamak için bir dizi değerlendirme oluşturması gerekiyor. Sektörün çalışma odağı kısmen "test yazmaktan" "değerlendirme yazmaya" kayıyor, ancak temel hâlâ ürün kalitesini ölçülebilir ve biriktirilebilir bir organizasyonel yeteneğe dönüştürmektir.

Üçüncü taraf veri şirketlerinin gelişimi de kurumsal yapay zeka uygulamasını gözlemlemek için bir gösterge olarak kullanılabilir. Müşterileri birkaç öncü laboratuvarda yoğunlaşmaya devam ediyorsa, sıradan işletmelerin bağımsız yapay zeka yetenekleri oluşturma alanının hâlâ sınırlı olduğunu gösterir; gelir kaynakları giderek çeşitleniyorsa, daha fazla işletmenin veri satın almaya, değerlendirme kurmaya ve kendi modellerini eğitmeye başladığı anlamına gelebilir.

İşletmelerin gerçekten eksik olduğu şey daha fazla model değil, doğruyu tanımlayabilen, başarısızlığı tespit edebilen ve satın alma kararlarını destekleyen bir standart setidir.

Çıkarım Optimizasyonu Token Maliyetini Düşürmekten Sistem Planlamasına Geçiyor

Fireworks'ün ilk çekirdek işi çıkarım optimizasyonudur. Chen Yufei, bu işte hâlâ büyük bir alan olduğunu düşünüyor çünkü bir modelin yeni yayınlandığındaki çalışma verimliliği ile uzun süreli optimizasyon sonrasındaki performansı arasında genellikle belirgin bir fark vardır.

Platformun çözmesi gereken sorun, bu optimizasyon döngüsünü kısaltmak ve yeni modellerin çevrimiçi olduklarında mümkün olduğunca en iyi duruma yaklaşmasını sağlamaktır. Modelin çalışma zamanının yanı sıra, önbellek, planlama ve destekleyici altyapı da nihai maliyeti etkiler. Birçok optimizasyon, çok sayıda küçük ve ayrıntılı mühendislik işinden gelir, bu nedenle çıkarım optimizasyonu hâlâ emek yoğun bir iştir.

Model geliştiricilerin sağladığı birinci taraf API'lerle karşılaştırıldığında, Fireworks aynı anda birçok temel modeli ve özel modeli hizmete sunar ve daha fazla farklı trafik deseni ve iş yükü gözlemleyebilir. Model üreticileri öncelikle kendi modellerini geniş kullanıcı kitlesine istikrarlı bir şekilde sunmalıdır; üçüncü taraf platformlar ise belirli müşterilerin istek özelliklerine göre daha ayrıntılı optimizasyon yapabilir.

Model yönlendirme yalnızca maliyeti düşürmek için değildir. Fireworks ile Harvey arasındaki ortak bir deneyde, sistem bir modeli görev yürütücü, diğerini danışman olarak atadı ve uzun bağlam görevlerini birkaç daha kısa alt göreve böldü. Büyük modellerin etkinliği bağlam uzadıkça düşebileceğinden, makul bir iş bölümüyle sistemin genel performansı, en güçlü modeli tek başına kullanmaktan daha iyi olabilir.

Chen Yufei bu süreci CPU performans optimizasyonuna benzetiyor. Geliştiricilerin işlemcinin özelliklerini anlaması ve ardından programı o işlemciye uygun iş yüklerine bölmesi gerekir. Benzer şekilde, AI sistemlerinde temel modeller bir tür metin işlemcisi olarak görülebilir: ekipler önce farklı modellerin yetenek sınırlarını anlamalı, ardından görev çerçevesini tasarlamalı ve son olarak uygun modeli uygun konuma yerleştirmelidir.

Donanım optimizasyonu da yalnızca GPU, HBM, CPU ve ağın tek tek metriklerine bakılamaz. Modeller, eğitimin başlangıcında genellikle mevcut donanımın hesaplama ve bellek oranına göre tasarlanır. Bu nedenle, bir modelin Nvidia GPU'dan benzer özelliklere sahip AMD GPU'ya taşınması nispeten kolaydır; ancak mimarisi farklı olan ASIC'e taşınması büyük miktarda iş gerektirebilir.

Yeni bir donanımın başarılı olup olmayacağı yalnızca parametrelerin Nvidia'ya yakın olup olmadığına bağlı değildir; aynı zamanda tedarik ölçeği, yazılım ekosistemi ve ekonomik teşviklerin geliştiricileri bu donanım için model optimize etmeye yönlendirip yönlendiremeyeceğine de bağlıdır. Donanım yapılandırması Nvidia'ya benzer olsa bile, geliştiriciler kullanımından yeterli getiri elde edemezse bir ekosistem oluşturmak zordur.

İnferans platformunun nihai olarak optimize ettiği şey yalnızca model çalışma hızı değil, model, görev ve donanım arasındaki eşleşme biçimidir.

Fireworks donanıma sahip değil, ancak eğitim ile inferansı birbirine bağlıyor

AI bulut sağlayıcılarının yazılım katmanına genişlemesi karşısında Fireworks'ün şu an için kendi donanımını kurma veya ağır varlık olarak GPU satın alma planı yok. Chen Yufei şirketin modelini daha çok bir "ara kiralayan"a benzetiyor: altyapı sağlayıcılarından hesaplama gücü alıyor ve odağını hesaplama yazılımı, inferans hizmetleri ve model özelleştirmeye veriyor.

Fireworks'ün genel AI bulut platformlarından farkı, platformdaki trafiğin büyük kısmının değiştirilmemiş temel modellerden değil, özelleştirilmiş modellerden gelmesidir. Chen Yufei, temel model inferansındaki rekabetin giderek kızışacağını ve kârın büyük olasılıkla müşterilere daha iyi sonuçlar sunabilen özel modellerden geleceğini düşünüyor.

Fireworks, eğitim ve inferansı tek bir iş haline getiriyor. Şirket müşterilerin model eğitmesine yardımcı oluyor ve modelin yayına girmesinin ardından inferans trafiğinin sürekli artmasını umuyor. Yalnızca eğitim ücreti veya danışmanlık ücreti alan hizmet sağlayıcılarla karşılaştırıldığında, bu gelir yapısı platform ile müşterinin uzun vadeli kullanım etkisini daha uyumlu hale getiriyor: müşteri model aracılığıyla daha fazla değer ürettikçe, Fireworks de sürekli inferanstan daha fazla gelir elde edebiliyor.

Bazı güçlendirilmiş öğrenme hizmet sağlayıcıları yalnızca eğitim veya danışmanlık sunuyor ve gelirleri modelin yayına girdikten sonraki kullanım etkisiyle doğrudan ilişkili olmayabiliyor. Fireworks'ün iş mantığı ise eğitim yoluyla model performansını artırmak ve ardından gelen inferans trafiğinden getiri sağlamak. Sattığı şey tek seferlik bir eğitim projesi değil, müşterinin modelinin sürekli kullanım üretme kapasitesidir.

Tüm zinciri gerçekten kapsayabilecek rakipler tek bir yeni bulut şirketi değil, AWS, Microsoft Azure ve Google Cloud gibi büyük bulut hizmet sağlayıcılarıdır. Bunlar hem hesaplama gücüne sahip hem de güçlendirilmiş öğrenme hizmetleri, inferans platformları ve geliştirme araçları kurabilirler.

Fireworks bir yandan bulut sağlayıcılarıyla rekabet ederken, diğer yandan da altyapılarına bağımlı ve onlarla iş birliği yapıyor. Şu anda şirket en yakın iş birliğini Azure ile yürütüyor; müşteriler Azure kredilerini kullanarak Fireworks hizmetlerini satın alabiliyor ve ayrıca AWS ile Google Cloud ile de iş birliği yapılıyor.

Chen Yufei, Fireworks'ün mevcut inferans optimizasyon yeteneğinin hâlâ bulut sağlayıcılarının benzer hizmetlerinden üstün olduğunu, ancak tek nokta performansının en sağlam savunma hattı olmadığını düşünüyor. Daha önemli olan, eğitimden dağıtıma, değerlendirmeden inferansa kadar tüm makine öğrenimi operasyon döngüsünü tamamlayarak geliştiricilere tutarlı bir deneyim sunmaktır. Yeni bulut şirketlerine kıyasla Fireworks'ün kapsadığı zincir daha uzun; bulut devlerine kıyasla ise uzmanlaşma ve yürütme hızında avantajını koruması gerekiyor.

Gelecekte yapay zeka çekirdek, çıkarım ve sonrası optimizasyon süreçlerini otomatik olarak tamamlayabilse bile, müşteri ihtiyaçlarını anlamak hâlâ tamamen ikame edilmesi zor bir iş olabilir. Bir sistem karmaşık matematik problemlerini çözebilir, ancak bir işletmenin süreçlerini, kısıtlamalarını ve değerlendirme kriterlerini yoktan anlayamayabilir. Fireworks'ün uzun vadeli değeri nihayetinde müşteri ihtiyaçlarını modellere, değerlendirmelere ve çalıştırılabilir ürünlere dönüştürme becerisine bağlıdır.

Açık Kaynak Sıkıştırılmış Model Primleri, Hesaplama Gücü Hâlâ Nihai Kısıt

Önümüzdeki bir ila iki yıl içinde Fireworks'ün karşılaştığı en büyük zorluk hâlâ hesaplama gücüdür. Şirketin makul bir fiyata yeterli bilgi işlem kaynağı elde edip edememesi, gelir büyümesini doğrudan sınırlayacaktır. Chen Yufei, Fireworks'ün mevcut durumunu "hesaplama gücüyle kısıtlı" olarak özetliyor ve en azından önümüzdeki bir yıl boyunca piyasanın genel olarak bu durumu koruyabileceğini değerlendiriyor.

Bu durum, teknoloji devlerinin yapay zeka sermaye harcamalarına bakışını da etkiliyor. Piyasa genellikle yatırım getirisi oranından yola çıkarak Google, Meta gibi şirketlerin aşırı yatırım yapıp yapmadığını değerlendiriyor; ancak bu şirketler için başka bir risk daha büyük olabilir: Eğer yapay zeka nihayetinde çok yüksek getiriler sağlarsa ve bu şirketler yatırımı azalttıkları için bu rekabet turunu kaçırırsa, masadaki yerlerini kalıcı olarak kaybedebilirler.

Bu nedenle, kısa vadede aşırı yatırım yapılsa bile, maliyet yalnızca finansal tablolar üzerinde baskı oluşturmak ve önümüzdeki birkaç yıl içinde amortismanı sindirmek olabilir. Uzun vadeli nakit akışı ve finansman kapasitesine sahip teknoloji devleri için bu genellikle bir hayatta kalma riski değildir; ancak kritik bir teknoloji döngüsünü kaçırmak olabilir.

Yeni bulut şirketlerinin durumu farklıdır. Proje getirilerini, finansman maliyetlerini ve geri ödeme sürelerini daha sıkı hesaplamaları gerekir. Chen Yufei, ilgili şirketlerin tahvil notlarına, proje gecikmelerine ve yeniden finansman kapasitelerine dikkat edilmesini öneriyor. Önümüzdeki 3 ila 6 ay içinde bir katılımcı kredi sorunları nedeniyle borç alamaz ve borç yeniden yapılandırması yapmak zorunda kalırsa, piyasanın hâlâ bu riski üstlenmeye istekli sermayesi olup olmadığı, yapay zeka altyapı finansman kapasitesinin test edileceği kritik bir nokta olacaktır.

"Açık kaynak modellerin kapalı kaynak modelleri yakalamasının donanım talebini düşüreceği" yönündeki piyasa anlatısına Chen Yufei şüpheyle yaklaşıyor. Ona göre, açık kaynak model yeteneklerinin artması öncelikle model katmanındaki prim kapasitesini zayıflatır. Genel yapay zeka harcamaları değişmezse, değer bunun yerine hesaplama gücü ve altyapı sağlayan şirketlere kayabilir.

Ancak, yapay zeka sermaye harcamalarının nihayetinde yeterli getiri sağlayıp sağlayamayacağı hâlâ cevapsız bir sorudur. Hesaplama gücü projeleri genellikle yatırımın geri dönüşü için yıllar gerektirir ve bir yıl sonraki arz-talep dengesini tahmin etmek zaten çok zordur. Şu an nispeten net olan sinyal, hem Fireworks'ün hem de hizmet verdiği birçok müşterinin hâlâ daha fazla hesaplama gücü aradığıdır.

Açık kaynak ile kapalı kaynak arasındaki rekabet yalnızca model sıralamalarıyla belirlenmeyecektir. Yetenek farkı daralmaya devam ettikçe, endüstri değeri daha çok görevleri kimin tanımlayabildiğine, etkileri kimin doğrulayabildiğine ve modelleri sürdürülebilir maliyetlerle üretime kimin sokabildiğine bağlı olacaktır.

[Video Bağlantısı]

BlockBeats Resmi Topluluğuna Katılın:

Telegram Abonelik Grubu: https://t.me/theblockbeats

Telegram Sohbet Grubu: https://t.me/BlockBeats_App

Twitter Resmi Hesabı: https://twitter.com/BlockBeatsAsia