动察 Beating tarafından yapılan izlemeye göre Google, Gemma 4 büyük modeli için nicelenmiş sıkıştırılmış model ağırlıklarını yayınladı. Nicelleştirme, sayısal hassasiyeti düşürerek model boyutunu küçülten bir tekniktir, ancak genellikle modelin daha az zeki olmasına yol açar. Hassasiyet kaybı sorununu çözmek için Google bu kez nicelleştirme farkındalıklı eğitim teknolojisini kullandı. Bu yöntemle model eğitimi sırasında sıkıştırma durumu önceden simüle edilerek modelin düşük hassasiyetli çalışmaya uyum sağlaması için otomatik olarak ayarlanması sağlandı. Böylece model boyutu önemli ölçüde küçülürken son derece yüksek bir zeka seviyesi korundu.
Özel mobil sıkıştırma teknolojisi sayesinde Gemma 4 E2B saf metin modeli, telefon gibi uç cihazlarda çalıştırıldığında bellek kullanımını 1 GB'ın altına düşürebiliyor. Telefonda yerel olarak yeterince akıcı çalışmayı garanti altına almak için Google, mobil çipler için özel olarak hedefli optimizasyonlar yaptı. Geliştirme ekibi, hesaplama işlerinin çoğunu eğitim aşamasında önceden tamamlayarak telefon çipinin anlık yükünü hafifletti ve telefon donanımına daha uygun bir hesaplama yapısı kullanarak yerel hızlandırma sağladı. Ekip ayrıca kelime dağarcığı ve önbellek üzerinde derin sıkıştırma gerçekleştirdi. Bunun yanı sıra, Token üretiminden sorumlu belirli katmanlara 2-bit aşırı sıkıştırma uygulandı ve yalnızca temel çıkarım katmanlarının yüksek hassasiyeti korundu. Bu sayede depolama alanı maksimum düzeyde tasarruf edilirken çekirdek mantık performansı etkilenmedi.
Yeni model ağırlıkları artık Hugging Face'te açık kaynak olarak yayınlandı. Bireysel kullanıcılar, Ollama ve LM Studio aracılığıyla doğrudan kişisel bilgisayarlarına yerel olarak indirip çalıştırabilir. Mobil ve web tarayıcı geliştiricileri için yeni ağırlıklar, LiteRT-LM motoruyla eşzamanlı olarak destekleniyor ve Transformers.js aracılığıyla doğrudan web tarayıcısında çalıştırılabiliyor. Aynı zamanda vLLM, SGLang ve Apple çip hızlandırma aracı MLX de uyumluluk için adapte edilmiş olup geliştiricilerin hızlı bir şekilde dağıtım yapmasını kolaylaştırıyor.
