Anthropic, Claude ile temel API'yi yeniden yazdı, CPU kullanımı %40 ila %50 azaldı

动察 Beating AI hızlı haber: Anthropic platform mühendisliği sorumlusu Katelyn Lesse, Latent Space röportajında şirketin Messages API'sini Python'dan Rust'a taşıdığını açıkladı. Dönüşümün ardından API hizmetinin CPU kullanımının tahminlerine göre yaklaşık %40 ila %50 azaldığını, ilk Token yanıt gecikmesinin ise yaklaşık %10 ila %20 iyileştiğini belirtti.

Messages API, geliştiricilerin Claude'a erişmek için kullandığı ana arayüzdür. İstek sayısı arttıkça eski Python monolitik hizmeti giderek daha fazla CPU tüketmeye başladı ve ekip doğrudan Rust ile yeniden yazmaya karar verdi. Ancak proje başladığında taşımadan sorumlu grupta tek bir Rust mühendisi bile yoktu.

Sonunda kod yazımının büyük kısmını Claude üstlendi, insan mühendisler mimari tasarım ve doğrulamadan sorumlu oldu. Ekip önce eksiksiz bir Rust sürümü oluşturdu, eski ve yeni sistemin aynı istekleri işlemesini sağlayarak çıktıları tek tek karşılaştırdı, ardından resmi trafiği kademeli olarak geçirdi. Süreç içinde Rust deneyimi olan birkaç mühendis de işe alındı.

Lesse, geçmişte bu ölçekteki taşımaların genellikle birden fazla aşamaya bölünerek yıllar sürdüğünü belirtti. Bu kez ekip API'nin tamamının taşınmasını doğrudan tamamladı ve Eylül ayında tamamen devreye alındı.