BlockBeats Haberi, 27 Haziran - Coinbase CEO'su Brian Armstrong, token kullanımının katlanarak artarken AI harcamalarının sabit kalmasını sağlamanın anahtarının kullanım engelleri veya harcama uyarıları koymak değil, daha iyi varsayılan modeller, yönlendirme ve önbellekleme mekanizmaları olduğunu belirtti. Coinbase, LLM ağ geçidi aracılığıyla varsayılan olarak GLM 5.2, Kimi 2.7 gibi açık ağırlıklı modelleri kullanmaya çalışırken, mühendislerin göreve uygun modeli seçmesini teşvik etmeye devam ediyor. Armstrong, çalışanların %91'inin kullanım sınırına hiç ulaşmadığını, bu nedenle şirketin limiti düşürüp uyarı eklemek yerine daha düşük maliyetli varsayılan modellere geçtiğini söyledi.
Model yönlendirme konusunda Coinbase, özel süreçlerde istemleri ön işleme tabi tutuyor ve önbellek isabet oranı ile model fiyatlandırmasına göre görevleri en uygun modele yönlendiriyor. Örneğin, planlama aşamasında öncü modeller gerekebilir, ancak yürütme aşamasında öncü model kullanmak aşırı olabilir. Armstrong, gelecekte model seçiminin insanlar tarafından değil, AI tarafından otomatik olarak yapılması gerektiğini düşünüyor.
Armstrong ayrıca, önbellek isabetsizliğinin maliyetleri artırmanın en kolay yolu olduğunu belirtti. Coinbase'in tüm talepleri, sıcak önbelleği mümkün olduğunca yeniden kullanmak için önbellek farkındalığına sahiptir. Örneğin, önbellek doğru şekilde uygulandıktan sonra LibreChat'in önbellek isabet oranı %5'ten %60'a yükseldi. Ayrıca Coinbase, mühendislerin bağlamı kısa tutmasını, görev değiştirirken yeni oturum açmasını, dosya bağlamını daraltmasını ve kullanılmayan araçların bağlantısını kesmesini istiyor. Amaç AI kullanımını bastırmak değil, katlanarak büyümeyi destekleyebilecek bir altyapı inşa etmek. Bu uygulamalarla Coinbase, AI harcamalarını neredeyse yarı yarıya azaltırken token kullanımı artmaya devam ediyor.
