1/
🧵menyelami lebih dalam pekerjaan baru kami tentang zkGPT: Membuktikan inferensi LLM dengan cepat dengan Zero-Knowledge Proofs.
Mengapa? Penyedia layanan mungkin menerapkan model yang lebih kecil/lebih murah dari yang dijanjikan. ZK memungkinkan mereka membuktikan kebenaran tanpa mengungkapkan parameter model.
📄
2/
Masalahnya:
- LLM = kuat tapi mahal.
- Penyedia dapat menyontek dengan menjalankan model yang lebih kecil.
- Pengguna tidak dapat memverifikasi model mana yang digunakan.
ZK Proofs memecahkan ini, tetapi sistem zkML saat ini tersedak pada LLM nyata:
- Tidak ada dukungan untuk arsitektur transformator.
- Waktu pembuktian yang besar (menit→jam).
3/
Pekerjaan sebelumnya:
- ZKML (Eurosys'24): Kerangka kerja verifikasi ML umum. Bagus untuk model kecil, tetapi terlalu lambat untuk LLM.
- Hao et al. (USENIX Security'24): Upaya zkLLM awal, masih cukup lambat (ribuan detik).
- Keduanya menderita lapisan nonlinier yang masif di atas kepala + paralelisasi yang buruk.
4/
Kontribusi kami:
1. Bukti yang efisien untuk lapisan linier & nonlinier yang disesuaikan dengan LLM (misalnya, GPT-2).
2. Fusi kendala → mengurangi overhead pada lapisan nonlinier (seperti GeLU).
3. Circuit squeeze → meningkatkan paralelisme dalam pembuatan bukti.
4. Implementasi full-stack dioptimalkan untuk blok transformator.
5/
Hasil:
- Membuktikan inferensi GPT-2 dalam <25 detik.
- 279× lebih cepat dari Hao et al. (USENIX'24).
- 185× lebih cepat dari ZKML (Eurosys'24).
- Urutan besarnya lebih sedikit overhead daripada implementasi zk-transformer yang naif.
6/
Mengapa itu penting:
- Mengaktifkan penerapan zkLLM praktis — Anda sekarang dapat memverifikasi output LLM dalam hitungan detik.
- Menjaga kerahasiaan bobot model.
- Membuka pintu untuk layanan AI yang menjaga privasi dengan auditabilitas kriptografi.
7/
Wawasan utama:
Jangan hanya secara naif menyusun LLM ke dalam sirkuit.
Struktur eksploitasi:
- Operasi linier (MatMul, LayerNorm) → batasan efisien khusus.
- Operasi nonlinier (GELU) → kendala yang menyatu untuk memangkas kompleksitas.
- Tata letak yang ramah paralel untuk memaksimalkan perangkat keras pembuktian modern.
24,98 rb
554
Konten pada halaman ini disediakan oleh pihak ketiga. Kecuali dinyatakan lain, OKX bukanlah penulis artikel yang dikutip dan tidak mengklaim hak cipta atas materi tersebut. Konten ini disediakan hanya untuk tujuan informasi dan tidak mewakili pandangan OKX. Konten ini tidak dimaksudkan sebagai dukungan dalam bentuk apa pun dan tidak dapat dianggap sebagai nasihat investasi atau ajakan untuk membeli atau menjual aset digital. Sejauh AI generatif digunakan untuk menyediakan ringkasan atau informasi lainnya, konten yang dihasilkan AI mungkin tidak akurat atau tidak konsisten. Silakan baca artikel yang terkait untuk informasi lebih lanjut. OKX tidak bertanggung jawab atas konten yang dihosting di situs pihak ketiga. Kepemilikan aset digital, termasuk stablecoin dan NFT, melibatkan risiko tinggi dan dapat berfluktuasi secara signifikan. Anda perlu mempertimbangkan dengan hati-hati apakah trading atau menyimpan aset digital sesuai untuk Anda dengan mempertimbangkan kondisi keuangan Anda.