1/
🧵dieper duiken in ons nieuwe werk aan zkGPT: Het snel bewijzen van LLM-inferentie met Zero-Knowledge Proofs.
Waarom? Dienstverleners kunnen een kleiner/goedkoper model implementeren dan beloofd. ZK stelt hen in staat om de juistheid te bewijzen zonder modelparameters te onthullen.
📄
2/
Het Probleem:
- LLM's = krachtig maar kostbaar.
- Leveranciers kunnen bedriegen door kleinere modellen te draaien.
- Gebruikers kunnen niet verifiëren welk model is gebruikt.
ZK Bewijzen lossen dit op, maar huidige zkML-systemen hebben moeite met echte LLM's:
- Geen ondersteuning voor transformerarchitecturen.
- Enorme bewijstijden (minuten→uren).
3/
Vorige werk:
- ZKML (Eurosys’24): Algemeen ML verificatiekader. Goed voor kleine modellen, maar te traag voor LLM's.
- Hao et al. (USENIX Security’24): Vroege zkLLM poging, nog steeds behoorlijk traag (duizenden seconden).
- Beide lijden onder enorme overhead van niet-lineaire lagen + slechte parallelisatie.
4/
Onze bijdragen:
1. Efficiënte bewijzen voor lineaire en niet-lineaire lagen op maat gemaakt voor LLM's (bijv. GPT-2).
2. Beperkingsfusie → vermindert overhead in niet-lineaire lagen (zoals GeLU).
3. Circuitcompressie → verhoogt de paralleliteit in bewijs generatie.
4. Volledige implementatie geoptimaliseerd voor transformerblokken.
5/
Resultaten:
- Bewijst GPT-2 inferentie in <25 seconden.
- 279× sneller dan Hao et al. (USENIX'24).
- 185× sneller dan ZKML (Eurosys'24).
- Orders of grootte minder overhead dan naïeve zk-transformer implementaties.
6/
Waarom het belangrijk is:
- Maakt praktische implementatie van zkLLM mogelijk - je kunt nu de output van een LLM in seconden verifiëren.
- Houdt modelgewichten geheim.
- Opent de deur voor privacy-beschermende AI-diensten met cryptografische controleerbaarheid.
7/
Belangrijk inzicht:
Compileer een LLM niet zomaar naïef in een circuit.
Benut structuur:
- Lineaire bewerkingen (MatMul, LayerNorm) → aangepaste efficiënte beperkingen.
- Niet-lineaire bewerkingen (GELU) → samengevoegde beperkingen om de complexiteit te verlagen.
- Parallel-vriendelijke indeling om moderne prover hardware maximaal te benutten.
24,72K
552
De inhoud op deze pagina wordt geleverd door derden. Tenzij anders vermeld, is OKX niet de auteur van het (de) geciteerde artikel(en) en claimt geen auteursrecht op de materialen. De inhoud is alleen bedoeld voor informatieve doeleinden en vertegenwoordigt niet de standpunten van OKX. Het is niet bedoeld als een goedkeuring van welke aard dan ook en mag niet worden beschouwd als beleggingsadvies of een uitnodiging tot het kopen of verkopen van digitale bezittingen. Voor zover generatieve AI wordt gebruikt om samenvattingen of andere informatie te verstrekken, kan deze door AI gegenereerde inhoud onnauwkeurig of inconsistent zijn. Lees het gelinkte artikel voor meer details en informatie. OKX is niet verantwoordelijk voor inhoud gehost op sites van een derde partij. Het bezitten van digitale activa, waaronder stablecoins en NFT's, brengt een hoge mate van risico met zich mee en de waarde van deze activa kan sterk fluctueren. Overweeg zorgvuldig of de handel in of het bezit van digitale activa geschikt voor je is in het licht van je financiële situatie.