zkPyTorch: Gerçekten güvenilir bir yapay zeka yaratmak için PyTorch mantığına sıfır bilgi kanıtları enjekte etmek

Orijinal başlık: zkPyTorch--Sıfır Bilgi Kanıtlarıyla Doğrulanabilir PyTorch

Yazan: Jiaheng Zhang

Sağlık, finans ve otonom sürüş gibi temel alanlarda yapay zekanın (YZ) derinlemesine uygulanmasıyla, makine öğrenimi (ML) akıl yürütme sürecinin güvenilirliğini, şeffaflığını ve güvenliğini sağlamak her zamankinden daha önemli hale geliyor.

Ancak, geleneksel makine öğrenimi hizmetleri genellikle kullanıcıların yalnızca sonuçları görebildiği ve süreci doğrulamanın zor olduğu bir "kara kutu" gibi çalışır. Bu opaklık, model hizmetlerini risklere karşı savunmasız hale getirir:

Modeller çalınır,

Çıkarım sonuçları kötü niyetli bir şekilde değiştirilir,

Kullanıcı verileri gizlilik sızıntısı riskiyle karşı karşıya kalır.

ZKML (sıfır bilgi makine öğrenimi) bu zorluğa yeni bir kriptografik çözüm sunar. Makine öğrenimi modellerinin kriptografik olarak doğrulanabilme yeteneğini sağlamak için sıfır bilgi kanıtı (ZKP) teknolojisine dayanır: hassas bilgileri ifşa etmeden bir hesaplamanın doğru şekilde gerçekleştirildiğini kanıtlar.

Başka bir deyişle, ZKP'ler servis sağlayıcıların kullanıcılara şunları kanıtlamasına olanak tanır:

"Elde ettiğiniz çıkarım sonuçları gerçekten de eğitilmiş modelle çalıştırdığım sonuçlardır - ancak hiçbir model parametresini ifşa etmeyeceğim."

Bu, kullanıcıların çıkarım sonuçlarının gerçekliğine güvenebileceği, modelin yapısı ve parametrelerinin (genellikle yüksek değerli varlıklar) ise gizli kalacağı anlamına gelir.

zkPyTorch:

Polyhedra Network, ana akım yapay zeka çerçeveleri ile ZK teknolojisi arasındaki son kilometreyi köprülemeyi amaçlayan sıfır bilgi makine öğrenimi (ZKML) için tasarlanmış devrim niteliğinde bir derleyici olan zkPyTorch'u piyasaya sürdü.

zkPyTorch, PyTorch'un güçlü makine öğrenimi yeteneklerini son teknoloji sıfır bilgi kanıtı motoruyla derinlemesine entegre eder. Yapay zeka geliştiricileri, programlama alışkanlıklarını değiştirmeden veya yeni bir ZK dili öğrenmeden, tanıdık bir ortamda doğrulanabilir yapay zeka uygulamaları oluşturabilir.

Bu derleyici, üst düzey model işlemlerini (evrişim, matris çarpımı, ReLU, softmax ve dikkat mekanizmaları gibi) otomatik olarak kriptografik olarak doğrulanabilir ZKP devrelerine dönüştürebilir ve Polyhedra'nın kendi geliştirdiği ZKML optimizasyon paketiyle birleştirildiğinde, hem devre doğruluğunu hem de hesaplama verimliliğini sağlamak için ana akım akıl yürütme yollarını akıllıca sıkıştırır ve hızlandırır.

Güvenilir bir AI ekosisteminin temel altyapısını oluşturma

Günümüzün makine öğrenimi ekosistemi, veri güvenliği, hesaplamalı doğrulanabilirlik ve model şeffaflığı gibi birden fazla zorlukla karşı karşıyadır. Özellikle sağlık, finans ve otonom sürüş gibi temel sektörlerde, AI modelleri yalnızca büyük miktarda hassas kişisel bilgi içermekle kalmaz, aynı zamanda yüksek değerli fikri mülkiyet ve temel iş sırları da taşır.

Sıfır bilgi makine öğrenimi (ZKML) ortaya çıktı ve bu ikilemi çözmede önemli bir atılım haline geldi. Sıfır bilgi kanıtı (ZKP) teknolojisi sayesinde ZKML, model parametrelerini veya giriş verilerini sızdırmadan model mantığının bütünlük doğrulamasını tamamlayabilir; böylece hem gizliliği korur hem de güvenilirliği garanti eder.

Ancak gerçekte, ZKML geliştirme genellikle çok yüksek bir eşiğe sahiptir ve geleneksel yapay zeka mühendislerinin erişiminin çok ötesinde olan kriptografide derin bir geçmiş gerektirir.

Bu, zkPyTorch'un misyonudur. PyTorch ve ZKP motoru arasında bir köprü kurarak, geliştiricilerin karmaşık kriptografik dilleri yeniden öğrenmek zorunda kalmadan tanıdık kodlarla gizliliği koruyan ve doğrulanabilir AI sistemleri oluşturmasına olanak tanır.

Polyhedra Network, zkPyTorch aracılığıyla ZKML'nin teknik engellerini önemli ölçüde azaltıyor, ölçeklenebilir ve güvenilir AI uygulamalarını ana akıma taşıyor ve AI güvenliği ve gizliliği için yeni bir paradigma yeniden oluşturuyor.

zkPyTorch İş Akışı

Şekil 1: ZKPyTorch'un genel mimarisine genel bakış

Şekil 1'de gösterildiği gibi, zkPyTorch, üç dikkatlice tasarlanmış modül aracılığıyla standart PyTorch modellerini otomatik olarak ZKP (sıfır bilgi kanıtı) uyumlu devrelere dönüştürür. Bu üç modül şunları içerir: ön işleme modülü, sıfır bilgi dostu niceleme modülü ve devre optimizasyon modülü.

Bu süreç, geliştiricilerin herhangi bir kriptografik devrede veya özel söz diziminde ustalaşmasını gerektirmez: geliştiricilerin modeller yazmak için yalnızca standart PyTorch'u kullanması gerekir ve zkPyTorch bunları Expander gibi sıfır bilgi kanıt motorları tarafından tanınabilen devrelere dönüştürebilir ve karşılık gelen ZK kanıtlarını üretebilir.

Bu son derece modüler tasarım, ZKML'nin geliştirme eşiğini büyük ölçüde azaltarak, yapay zeka geliştiricilerinin dil değiştirmeden veya kriptografi öğrenmeden kolayca verimli, güvenli ve doğrulanabilir makine öğrenimi uygulamaları oluşturmasına olanak tanır.

Blok 1: Model Ön İşleme

İlk aşamada, zkPyTorch, PyTorch modelini Açık Sinir Ağı Değişim biçimini (ONNX) kullanarak yapılandırılmış bir hesaplama grafiğine dönüştürür. ONNX, endüstride yaygın olarak kullanılan, çeşitli karmaşık makine öğrenimi işlemlerini tekdüze bir şekilde temsil edebilen bir ara gösterim standardıdır. Bu ön işleme adımıyla, zkPyTorch model yapısını açıklığa kavuşturabilir ve çekirdek hesaplama sürecini parçalara ayırabilir, böylece sonraki nesil sıfır bilgi kanıtı devreleri için sağlam bir temel oluşturabilir.

Modül 2: ZKP dostu niceleme

Kuantizasyon modülü, ZKML sisteminin önemli bir parçasıdır. Geleneksel makine öğrenimi modelleri kayan nokta işlemlerine dayanırken, ZKP ortamı sonlu alanlardaki tam sayı işlemleri için daha uygundur. zkPyTorch, kayan nokta hesaplamalarını tam sayı hesaplamalarına doğru bir şekilde eşlemek için sonlu alanlar için optimize edilmiş bir tam sayı niceleme şemasını kullanırken, ZKP'ye uygun olmayan doğrusal olmayan işlemleri (ReLU, Softmax gibi) verimli arama tablosu formlarına dönüştürür.

Bu strateji yalnızca devrenin karmaşıklığını büyük ölçüde azaltmakla kalmaz, aynı zamanda modelin doğruluğunu garanti altına alırken tüm sistemin doğrulanabilirliğini ve çalışma verimliliğini de artırır.

Modül 3: Hiyerarşik Devre Optimizasyonu

zkPyTorch, devre optimizasyonu için aşağıdakileri içeren çok seviyeli bir strateji benimser:

Toplu Optimizasyon
Özellikle serileştirilmiş hesaplama için tasarlanmıştır ve aynı anda birden fazla çıkarım adımını işleyerek hesaplama karmaşıklığını ve kaynak tüketimini büyük ölçüde azaltır; bu da özellikle Transformer gibi büyük dil modellerinin doğrulama senaryoları için uygundur.

İlkel İşlem Hızlandırma
Hızlı Fourier dönüşümü (FFT) evrişimi ve arama tablosu teknolojisini birleştirerek, evrişim ve Softmax gibi temel işlemlerin devre yürütme hızını etkili bir şekilde iyileştirir ve genel hesaplama verimliliğini temelden artırır.

Paralel Devre Yürütme
Çok çekirdekli CPU'ların ve GPU'ların işlem gücü avantajlarından tam olarak yararlanın, matris çarpımı gibi ağır yük hesaplamalarını paralel yürütme için birden fazla alt göreve bölün ve sıfır bilgi kanıtı oluşturmanın hızını ve ölçeklenebilirliğini önemli ölçüde artırın.

Derinlemesine teknik tartışma

Yönlendirilmiş Döngüsüz Grafik (DAG)

zkPyTorch, makine öğreniminin hesaplama sürecini yönetmek için yönlendirilmiş döngüsüz bir grafik (DAG) kullanır. DAG yapısı, Şekil 2'de gösterildiği gibi karmaşık model bağımlılıklarını sistematik olarak yakalayabilir. Grafikteki her düğüm belirli bir işlemi (matris transpozisyonu, matris çarpımı, bölme ve Softmax gibi) temsil eder ve kenarlar bu işlemler arasındaki veri akışını doğru bir şekilde tanımlar.

Bu net ve yapılandırılmış gösterim yalnızca hata ayıklama sürecini büyük ölçüde kolaylaştırmakla kalmaz, aynı zamanda performansı daha da iyileştirmeye yardımcı olur. DAG'nin döngüsüz yapısı döngüsel bağımlılıkları önler ve sıfır bilgi kanıtı devrelerinin üretimini iyileştirmek için çok önemli olan hesaplama sırasının verimli ve kontrol edilebilir bir şekilde yürütülmesini sağlar.

Ayrıca DAG, zkPyTorch'un Transformatör ve Kalan Ağ (ResNet) gibi karmaşık model mimarilerini verimli bir şekilde işlemesini sağlar. Bu modeller genellikle çok yollu, doğrusal olmayan ve karmaşık veri akışlarına sahiptir. DAG'nin tasarımı, model akıl yürütmesinin doğruluğunu ve verimliliğini garanti ederek, hesaplama ihtiyaçlarını karşılar.

Şekil 2: Yönlendirilmiş döngüsüz grafik (DAG) biçiminde gösterilen bir makine öğrenimi modelinin örneği

Gelişmiş Nicemleme Teknikleri

ZkPyTorch'ta gelişmiş nicemleme teknikleri, sıfır bilgi kanıtı (ZKP) sistemlerinde verimli sonlu alan aritmetiği için uygun tam sayı işlemlerine kayan nokta hesaplamalarını dönüştürmede önemli bir adımdır. zkPyTorch, hesaplama verimliliği ve model doğruluğu arasında denge kurmak için dikkatlice tasarlanmış statik bir tam sayı nicemleme yöntemi kullanır ve kanıtlar üretirken hem hızlı hem de doğru olmasını sağlar.

Bu nicemleme süreci, taşma ve önemli doğruluk kaybı olmadan kayan nokta sayılarını verimli bir şekilde temsil etmek için optimum nicemleme ölçeğini doğru bir şekilde belirlemek için titiz bir kalibrasyon içerir. ZKP'nin benzersiz doğrusal olmayan işlem zorlukları (Softmax ve katman normalizasyonu gibi) için zkPyTorch bu karmaşık işlevleri yenilikçi bir şekilde verimli tablo arama işlemlerine dönüştürür.

Bu strateji yalnızca kanıt oluşturma verimliliğini büyük ölçüde iyileştirmekle kalmaz, aynı zamanda üretilen kanıt sonuçlarının hem performansı hem de güvenilirliği hesaba katarak yüksek hassasiyetli kantizasyon modelinin çıktısıyla tamamen tutarlı olmasını sağlar ve doğrulanabilir makine öğreniminin pratik uygulamasını teşvik eder.

Çok seviyeli devre optimizasyon stratejisi

zkPyTorch, verimlilik ve ölçeklenebilirlik açısından sıfır bilgi muhakemesinin nihai performansını birden fazla boyuttan sağlamak için oldukça gelişmiş bir çok seviyeli devre optimizasyon sistemi benimser:

Toplu İşleme Optimizasyonu

Birden fazla muhakeme görevini toplu işleme paketleyerek, genel hesaplama karmaşıklığı önemli ölçüde azaltılır; bu, özellikle Transformer gibi dil modellerindeki sıralı işlem senaryoları için uygundur. Şekil 3'te gösterildiği gibi, geleneksel büyük dil modeli (LLM) muhakeme süreci, belirteç bazında üretim modunda çalışırken, zkPyTorch'un yenilikçi yöntemi, doğrulama için tüm giriş ve çıkış belirteçlerini tek bir istem sürecinde toplar. Bu işleme yöntemi, LLM'nin genel muhakemesinin tek seferde doğru olup olmadığını doğrulayabilirken, her bir çıktı belirtecinin standart LLM muhakemesiyle tutarlı olmasını sağlar.

LLM akıl yürütmesinde, KV önbelleğinin (anahtar-değer önbelleği) doğruluğu, akıl yürütme çıktısının güvenilirliğini sağlamanın anahtarıdır. Modelin akıl yürütme mantığı yanlışsa, önbellek kullanılsa bile, standart kod çözme süreciyle tutarlı sonuçları geri yüklemek imkansızdır. zkPyTorch, sıfır bilgi kanıtındaki her çıktının bu süreci doğru bir şekilde yeniden üreterek doğrulanabilir kesinliğe ve bütünlüğe sahip olmasını sağlar.

Şekil 3: L'nin giriş dizisi uzunluğunu, N'nin çıkış dizisi uzunluğunu ve H'nin modelin gizli katman boyutunu temsil ettiği büyük ölçekli dil modelleri (LLM) hesaplamalarının toplu doğrulaması.

Temel İşlem Optimizasyonu

zkPyTorch, temeldeki makine öğrenimi ilkellerini derinlemesine optimize ederek devre verimliliğini büyük ölçüde artırmıştır. Örneğin, evrişim işlemleri her zaman hesaplama açısından yoğun görevler olmuştur. zkPyTorch, başlangıçta uzamsal alanda gerçekleştirilen evrişimleri frekans alanında çarpma işlemlerine dönüştürmek için hızlı Fourier dönüşümüne (FFT) dayalı bir optimizasyon yöntemi kullanır ve hesaplama maliyetlerini önemli ölçüde azaltır. Aynı zamanda, ReLU ve softmax gibi doğrusal olmayan işlevler için sistem, ZKP'ye uygun olmayan doğrusal olmayan hesaplamalardan kaçınmak için önceden hesaplanmış bir arama tablosu yöntemi kullanır ve çıkarım devresinin çalışma verimliliğini büyük ölçüde artırır.

Paralel Devre Yürütme

zkPyTorch, karmaşık ML işlemlerini otomatik olarak paralel devrelere derleyerek çok çekirdekli CPU'ların/GPU'ların donanım potansiyelini tamamen açığa çıkarır ve büyük ölçekli paralel kanıt üretimine olanak tanır. Örneğin, tensör çarpımı gerçekleştirirken, zkPyTorch hesaplama görevini otomatik olarak birden fazla bağımsız alt göreve böler ve bunları eşzamanlı yürütme için birden fazla işlem birimine dağıtır. Bu paralelleştirme stratejisi yalnızca devre yürütme verimini önemli ölçüde iyileştirmekle kalmaz, aynı zamanda büyük modellerin verimli bir şekilde doğrulanmasını da gerçek kılar ve ölçeklenebilir ZKML için yeni bir boyut açar.

Tam performans testi: Performans ve doğrulukta iki kat atılım

zkPyTorch, titiz kıyaslama testleri aracılığıyla birden fazla ana akım makine öğrenimi modelinde mükemmel performans ve pratik kullanılabilirlik göstermiştir:

VGG-16 model testi

CIFAR-10 veri kümesinde, zkPyTorch tek bir görüntünün VGG-16 kanıt üretimini yalnızca 6,3 saniyede tamamlayabilir ve doğruluk, geleneksel kayan nokta hesaplamalarının doğruluğuyla hemen hemen aynıdır. Bu, zkML'nin görüntü tanıma gibi klasik görevlerde pratik yeteneklere sahip olduğunu gösterir.

Llama-3 model testi

8 milyara kadar parametre ölçeğine sahip Llama-3 büyük dil modeli için, zkPyTorch belirteç başına yaklaşık 150 saniyelik verimli bir kanıt üretimi elde eder. Daha da etkileyici olanı, çıktısının orijinal modele kıyasla %99,32'lik bir kosinüs benzerliğini koruması ve model çıktısının anlamsal tutarlılığını hesaba katarken yüksek güvenilirlik sağlamasıdır.

Tablo 1: Evrişimli sinir ağları ve dönüştürücü ağlarda çeşitli ZKP şemalarının performansı

Gerçek dünya için çok çeşitli uygulama senaryoları

Hizmet Olarak Doğrulanabilir Makine Öğrenimi (Doğrulanabilir MLaaS)

Makine öğrenimi modellerinin değeri artmaya devam ettikçe, giderek daha fazla yapay zeka geliştiricisi kendi modellerini buluta dağıtmayı ve dış dünyaya MLaaS (Hizmet Olarak Makine Öğrenimi) hizmetleri sağlamayı tercih ediyor. Ancak gerçekte, kullanıcılar çıkarım sonuçlarının gerçek olup olmadığını doğrulamayı sıklıkla zor buluyor; ve model sağlayıcısı ayrıca hırsızlık veya kötüye kullanımı önlemek için model yapısı ve parametreleri gibi temel varlıkları korumayı umar.

zkPyTorch bu çelişkiyi çözmek için doğdu: bulut AI hizmetlerinin yerel "sıfır bilgi doğrulama yeteneklerine" sahip olmasını ve çıkarım sonuçlarının şifreleme düzeyini gerçekleştirmesini sağlar. Doğrulanabilir.

Şekil 4'te gösterildiği gibi, geliştiriciler sıfır bilgi kanıt yeteneklerine sahip güvenilir bir MLaaS sistemi oluşturmak için Llama-3 gibi büyük modelleri doğrudan zkPyTorch'a bağlayabilir. Altta yatan ZKP motoruyla sorunsuz bir şekilde entegre olarak, zkPyTorch her çıkarımın doğru şekilde yürütülüp yürütülmediğini doğrulamak için model ayrıntılarını ifşa etmeden otomatik olarak kanıtlar üretebilir ve böylece model sağlayıcıları ve kullanıcıları için gerçekten güvenilir bir etkileşimli güven temeli oluşturabilir.

Şekil 4: Hizmet Olarak Doğrulanabilir Makine Öğreniminde (Doğrulanabilir MLaaS) zkPyTorch'un Uygulama Senaryoları.

Model değerlemesi için güvenli refakat

zkPyTorch, paydaşların model ayrıntılarını ifşa etmeden temel performans göstergelerini dikkatlice değerlendirmelerine olanak tanıyan güvenli ve doğrulanabilir bir AI modeli değerlendirme mekanizması sağlar. Bu "sıfır sızıntı" değerleme yöntemi, ticari işlemlerin verimliliğini artırırken ve geliştiricilerin fikri mülkiyet güvenliğini korurken AI modelleri için yeni bir güven standardı oluşturur. Sadece model değerinin görünürlüğünü iyileştirmekle kalmaz, aynı zamanda tüm AI sektörüne daha yüksek şeffaflık ve adalet getirir.

EXPchain blok zinciriyle derin entegrasyon

zkPyTorch, güvenilir bir merkezi olmayan AI altyapısı oluşturmak için Polyhedra Network tarafından bağımsız olarak geliştirilen EXPchain blok zinciri ağını yerel olarak entegre eder. Bu entegrasyon, akıllı sözleşme çağrıları ve zincir içi doğrulama için oldukça optimize edilmiş bir yol sağlar, böylece AI muhakeme sonuçları kriptografik olarak doğrulanabilir ve blok zincirinde kalıcı olarak saklanabilir.

ZkPyTorch ve EXPchain'in iş birliğiyle geliştiriciler, model dağıtımından, akıl yürütme hesaplamasına ve zincir üstü doğrulamaya kadar uçtan uca doğrulanabilir yapay zeka uygulamaları oluşturarak şeffaf, güvenilir ve denetlenebilir yapay zeka hesaplama süreçlerini gerçekten gerçekleştirebilir ve yeni nesil blok zinciri + yapay zeka uygulamaları için temel destek sağlayabilir.

Gelecek Yol Haritası ve Sürekli Yenilik

Polyhedra, aşağıdaki yönlere odaklanarak zkPyTorch'un gelişimini desteklemeye devam edecektir:

Açık Kaynak ve Topluluk Ortak İnşası

Küresel geliştirici katılımını teşvik etmek ve sıfır bilgi makine öğrenimi alanında iş birlikçi yeniliği ve ekolojik refahı desteklemek için zkPyTorch temel bileşenlerini kademeli olarak açık kaynaklı hale getirin.

Model ve çerçeve uyumluluğunu genişletin

Ana akım makine öğrenimi modelleri ve çerçevelerinin destek kapsamını genişletin, zkPyTorch'un uyarlanabilirliğini ve çok yönlülüğünü daha da iyileştirin ve çeşitli AI iş akışlarına esnek bir şekilde yerleştirilmesini sağlayın.

Geliştirme araçları ve SDK oluşturma

Entegrasyon sürecini basitleştirmek ve zkPyTorch'un gerçek iş senaryolarında dağıtımını ve uygulamasını hızlandırmak için kapsamlı bir geliştirme araç zinciri ve yazılım geliştirme kiti (SDK) sunun.

Sonuç

zkPyTorch, güvenilir bir AI geleceğine giden yolda önemli bir kilometre taşıdır. Olgun PyTorch çerçevesini son teknoloji sıfır bilgi kanıtı teknolojisiyle derinlemesine entegre ederek, zkPyTorch yalnızca makine öğreniminin güvenliğini ve doğrulanabilirliğini önemli ölçüde iyileştirmekle kalmaz, aynı zamanda AI uygulamalarının dağıtım yöntemini ve güven sınırını yeniden şekillendirir.

Polyhedra, "Güvenli AI" alanında yenilik yapmaya, makine öğrenimini gizlilik koruması, sonuç doğrulaması ve model uyumluluğunda daha yüksek standartlara taşımaya ve şeffaf, güvenilir ve ölçeklenebilir akıllı sistemler oluşturmaya devam edecektir.

Lütfen son ilerlememize dikkat edin ve zkPyTorch'un güvenli istihbarat çağının geleceğini nasıl yeniden şekillendirdiğine tanık olun.

Bu makale bir katkıya dayanmaktadır ve BlockBeats'in görüşlerini temsil etmemektedir.

BlockBeats Resmi Topluluğuna Katılın:

Telegram Abonelik Grubu: https://t.me/theblockbeats

Telegram Sohbet Grubu: https://t.me/BlockBeats_App

Twitter Resmi Hesabı: https://twitter.com/BlockBeatsAsia