Zuckerberg'un açık mektubu: Damıtma suç değildir, modeller her şeyi öğrenmeli

Önemli bir gelişme olarak, Dongcha Beating izlemesine göre, Zuckerberg bugün uzun bir yazı yayınlayarak model damıtma (distillation) uygulamasını açıkça savundu. Ona göre, modellerin diğer modellerden öğrenmesi zaten açık kaynak ekosisteminin bir parçası. ABD, açık kaynak yapay zekada liderliğini sürdürmek istiyorsa, damıtma ve eğitim verileri üzerindeki kısıtlamaları gevşetmek zorunda.

Ayrıca, "damıtmanın zararlı olduğu" iddiasını doğrudan çürüttü: Gözlemlenebilir olan şeylerin öğrenilmesine izin verilmelidir. ABD önce kendini bağlarsa, diğer ülkelerin açık kaynak modelleri daha hızlı yetişecektir.

Bu, OpenAI ve Anthropic'in son hamleleriyle tamamen zıt bir yaklaşım. İki şirket de rakiplerin kısıtlamaları aşarak model çıktılarını büyük ölçekte toplamasını engellemeye çalışıyor; Zuckerberg ise bu yüzden modeller arası öğrenmenin de kısıtlanmaması gerektiğini düşünüyor.

Meta'nın bugün yayınladığı Muse Glimmer, zaten Muse Spark'tan damıtılmış bir modeldir.