Unsloth, 753B modeli GLM-5.2'yi aşırı sıkıştırarak Mac'te yerel olarak akıcı bir şekilde çalıştırılmasını sağladı.

动察 Beating tarafından yapılan izlemeye göre, Unsloth AI, dinamik niceleme teknolojisi kullanarak Zhipu AI'nın 753B parametreli büyük modeli GLM-5.2'nin boyutunu %80'den fazla sıkıştırdı ve Mac'te yerel dağıtımı destekleyen GGUF formatında bir sürüm yayınladı. Dinamik 1-bit ve 2-bit niceleme sayesinde, başlangıçta 1,51 TB olan model, 217 GB (1-bit varyantı) ile 239 GB (2-bit UD-IQ2_M varyantı) arasına düşürüldü. Bu sayede sıradan geliştiriciler ve küçük işletmeler, yalnızca tek bir Mac Studio ile modeli yerel olarak çevrimdışı çalıştırabiliyor.

Niceleme sürümü, Mac Studio M3 Ultra (256 GB birleşik bellek) cihazında 21,6 token/s hızında akıcı bir performans sergilerken, orijinal modelin doğruluğunun %76 ila %82'sini korudu. Unsloth AI tarafından yayınlanan karşılaştırmalı testte, tamamen yerel olarak çalıştırılan 1-bit seviyesindeki GLM-5.2 GGUF, bağımsız piksel sanatı, ses efektleri ve parçacık sistemi içeren eksiksiz bir HTML5 oyunu (Flappy Bird klonu Sunset Flier) yazma istemi karşısında, Claude 4.8 Opus ve GPT-5.5 ile karşılaştırılabilir kalitede çıktı üretti.

Zhipu AI tarafından piyasaya sürülen açık kaynaklı bir Karma Uzman (MoE) modeli olan GLM-5.2, toplam 753B parametre ve 1 milyon token bağlamına sahiptir. Geleneksel dağıtım modunda, büyük modelleri çalıştırmak için pahalı bulut tabanlı çok kartlı bilgi işlem kümeleri kurmak gerekirken, dinamik niceleme çözümünün yayınlanması donanım engellerini ortadan kaldırdı ve bireyler ile küçük ekiplerin en üst düzey açık kaynak modellerini bağımsız olarak dağıtma eşiğini önemli ölçüde düşürdü. Şu anda, GLM-5.2 GGUF ağırlıkları Hugging Face platformunda indirilmeye açılmış olup, kullanıcılar llama.cpp veya Unsloth Studio aracılığıyla doğrudan yükleyip çalıştırabilir.