1/
🧵aprofundând noua noastră lucrare pe zkGPT: Dovedirea inferenței LLM rapid cu dovezi de cunoaștere zero.
De ce? Furnizorii de servicii ar putea implementa un model mai mic/mai ieftin decât cel promis. ZK le permite să dovedească corectitudinea fără a dezvălui parametrii modelului.
📄
2/
Problema:
- LLM-uri = puternice, dar costisitoare.
- Furnizorii ar putea trișa rulând modele mai mici.
- Utilizatorii nu pot verifica ce model a fost folosit.
ZK Proofs rezolvă acest lucru, dar sistemele actuale zkML se sufocă cu LLM-uri reale:
- Nu există suport pentru arhitecturile transformatoarelor.
- Timpi uriași de probă (minute→ore).
3/
Lucrări anterioare:
- ZKML (Eurosys'24): Cadrul general de verificare a ML. Bun pentru modelele mici, dar prea lent pentru LLM-uri.
- Hao et al. (USENIX Security'24): Încercare timpurie de zkLLM, încă destul de lentă (mii de secunde).
- Ambele suferă de supraîncărcare masivă a stratului neliniar + paralelizare slabă.
4/
Contribuțiile noastre:
1. Demonstrații eficiente pentru straturi liniare și neliniare adaptate LLM-urilor (de exemplu, GPT-2).
2. Fuziunea constrângerilor → reduce supraîncărcarea în straturile neliniare (cum ar fi GeLU).
3. Circuit squeeze → stimulează paralelismul în generarea de demonstrații.
4. Implementare full-stack optimizată pentru blocuri de transformatoare.
5/
Rezultatele:
- Dovedește inferența GPT-2 în <25 de secunde.
- 279× mai rapid decât Hao et al. (USENIX'24).
- 185× mai rapid decât ZKML (Eurosys'24).
- Ordine de mărime mai puține cheltuieli generale decât implementările naive ale transformatorului zk.
6/
De ce contează:
- Permite implementarea practică zkLLM - acum puteți verifica ieșirea unui LLM în câteva secunde.
- Păstrează secrete greutățile modelului.
- Deschide ușile pentru servicii AI care păstrează confidențialitatea cu auditabilitate criptografică.
7/
Informații cheie:
Nu compilați naiv un LLM într-un circuit.
Structura exploatării:
- Operațiuni liniare (MatMul, LayerNorm) → constrângeri eficiente personalizate.
- Operațiunile neliniare (GELU) → constrângeri fuzionate pentru a reduce complexitatea.
- Aspect prietenos cu paralelele pentru a maximiza hardware-ul modern de probă.
25,02 K
554
Conținutul de pe această pagină este furnizat de terți. Dacă nu se menționează altfel, OKX nu este autorul articolului citat și nu revendică niciun drept intelectual pentru materiale. Conținutul este furnizat doar pentru informare și nu reprezintă opinia OKX. Nu este furnizat pentru a fi o susținere de nicio natură și nu trebuie să fie considerat un sfat de investiție sau o solicitare de a cumpăra sau vinde active digitale. În măsura în care AI-ul de generare este utilizat pentru a furniza rezumate sau alte informații, astfel de conținut generat de AI poate să fie inexact sau neconsecvent. Citiți articolul asociat pentru mai multe detalii și informații. OKX nu răspunde pentru conținutul găzduit pe pagini terțe. Deținerile de active digitale, inclusiv criptomonedele stabile și NFT-urile, prezintă un grad ridicat de risc și pot fluctua semnificativ. Trebuie să analizați cu atenție dacă tranzacționarea sau deținerea de active digitale este adecvată pentru dumneavoastră prin prisma situației dumneavoastră financiare.