Cline, Kimi'ye kendi barındırma maliyetini hesaplıyor: Testler yalnızca %10 tasarruf sağladığını gösteriyor, yıllık ücret 500.000 doların altındaysa uğraşmaya değmez.

动察 Beating tarafından yapılan izlemeye göre, AI kodlama aracı Cline, Kimi K2.6'nın kendi kendine barındırma maliyetini gerçek üretim trafiği kullanarak hesapladı. Aylık 583 milyar Token işleyen sistem, tamamen API üzerinden kullanıldığında yaklaşık 185.000 dolara mal oluyor. Düşük trafik dönemlerinde 16 adet B200 yapılandırması kullanıldığında, gün boyu tam kapasite çalışarak temel trafik karşılanıyor, kalan talepler ise API üzerinden işleniyor. Bu durumda fatura 166.000 dolara düşüyor, yani sadece yaklaşık %10 tasarruf sağlanıyor.

Cline, GPU'ları zaman dilimlerine göre dinamik olarak artırıp azaltmanın tasarruf oranını %22 ila %25'e çıkarabileceğini tahmin ediyor. Çekirdek optimizasyonu, toplu işleme ve gecikme gereksinimlerinin daha da iyileştirilmesiyle teorik olarak %35 ila %40'a ulaşılabileceği belirtiliyor, ancak bu çözümler henüz fiilen uygulanmış değil.

Kendi kendine barındırmanın eşiği de oldukça yüksek. Cline'a göre, yıllık API harcaması 500.000 doların altındaysa, elde edilen tasarruf genellikle çıkarım mühendisliği maliyetini karşılamıyor. Yıllık harcamanın 1 ila 2 milyon dolara ulaşması durumunda ise daha karlı hale geliyor. Bu hesaplama Kimi K2.6'ya dayanıyor ve doğrudan Kimi K3'e uygulanamaz.