1/
🧵dykke dypere inn i vårt nye arbeid med zkGPT: Bevise LLM-inferens raskt med nullkunnskapsbevis.
Hvorfor? Tjenesteleverandører kan distribuere en mindre/billigere modell enn lovet. ZK lar dem bevise riktighet uten å avsløre modellparametere.
📄
2/
Problemet:
- LLM-er = kraftige, men kostbare.
- Leverandører kan jukse ved å kjøre mindre modeller.
- Brukere kan ikke bekrefte hvilken modell som ble brukt.
ZK Proofs løser dette, men nåværende zkML-systemer kveles av ekte LLM-er:
- Ingen støtte for transformatorarkitekturer.
- Enorme prøvetider (minutter→timer).
3/
Tidligere arbeider:
- ZKML (Eurosys'24): Generelt rammeverk for ML-verifisering. Bra for små modeller, men for treg for LLM-er.
- Hao et al. (USENIX Security'24): Tidlig zkLLM-forsøk, fortsatt ganske tregt (tusenvis av sekunder).
- Begge lider av massiv ikke-lineær lagoverhead + dårlig parallellisering.
4/
Våre bidrag:
1. Effektive bevis for lineære og ikke-lineære lag skreddersydd for LLM-er (f.eks.
2. Begrensningsfusjon → redusere overhead i ikke-lineære lag (som GeLU).
3. Kretsklemme → øker parallelliteten i bevisgenerering.
4. Fullstack-implementering optimalisert for transformatorblokker.
5/
Resultater:
- Beviser GPT-2-slutning på <25 sekunder.
- 279× raskere enn Hao et al. (USENIX'24).
- 185× raskere enn ZKML (Eurosys'24).
- Størrelsesordener mindre overhead enn naive zk-transformatorimplementeringer.
6/
Hvorfor det er viktig:
- Muliggjør praktisk zkLLM-distribusjon – du kan nå verifisere en LLMs utgang på sekunder.
- Holder modellvekter hemmelige.
- Åpner dører for personvernbevarende AI-tjenester med kryptografisk revisjonsmuligheter.
7/
Viktig innsikt:
Ikke bare naivt kompilere en LLM til en krets.
Utnyttelse struktur:
- Lineære operasjoner (MatMul, LayerNorm) → tilpassede effektive begrensninger.
- Ikke-lineære operasjoner (GELU) → sammensmeltede begrensninger for å redusere kompleksiteten.
- Parallellvennlig layout for å maksimere moderne prøvemaskinvare.
24,98k
554
Innholdet på denne siden er levert av tredjeparter. Med mindre annet er oppgitt, er ikke OKX forfatteren av de siterte artikkelen(e) og krever ingen opphavsrett til materialet. Innholdet er kun gitt for informasjonsformål og representerer ikke synspunktene til OKX. Det er ikke ment å være en anbefaling av noe slag og bør ikke betraktes som investeringsråd eller en oppfordring om å kjøpe eller selge digitale aktiva. I den grad generativ AI brukes til å gi sammendrag eller annen informasjon, kan slikt AI-generert innhold være unøyaktig eller inkonsekvent. Vennligst les den koblede artikkelen for mer detaljer og informasjon. OKX er ikke ansvarlig for innhold som er vert på tredjeparts nettsteder. Beholdning av digitale aktiva, inkludert stablecoins og NFT-er, innebærer en høy grad av risiko og kan svinge mye. Du bør nøye vurdere om handel eller innehav av digitale aktiva passer for deg i lys av din økonomiske tilstand.