1/
🧵sukeltaa syvemmälle uuteen työhömme zkGPT:llä: LLM-päättelyn nopea todistaminen Zero-Knowledge Proofsin avulla.
Miksi? Palveluntarjoajat saattavat ottaa käyttöön luvattua pienemmän/halvemman mallin. ZK antaa heidän todistaa oikeellisuuden paljastamatta mallin parametreja.
📄
2/
Ongelma:
- LLM:t = tehokkaita, mutta kalliita.
- Palveluntarjoajat voivat huijata käyttämällä pienempiä malleja.
- Käyttäjät eivät voi tarkistaa, mitä mallia käytettiin.
ZK Proofs ratkaisee tämän, mutta nykyiset zkML-järjestelmät tukehtuvat todellisiin LLM:iin:
- Ei tukea muuntaja-arkkitehtuureille.
- Valtavat testausajat (minuutit→tunnit).
3/
Aiemmat työt:
- ZKML (Eurosys'24): Yleinen koneoppimisen todentamiskehys. Hyvä pienille malleille, mutta liian hidas LLM:ille.
- Hao et al. (USENIX Security'24): Varhainen zkLLM-yritys, edelleen melko hidas (tuhansia sekunteja).
- Molemmat kärsivät massiivisesta epälineaarisesta kerroksesta yläpuolella + huonosta rinnakkaisasettelusta.
4/
Panoksemme:
1. Tehokkaat vedokset lineaarisille ja epälineaarisille kerroksille, jotka on räätälöity LLM:ille (esim.
2. Rajoittava fuusio → vähentää yleiskustannuksia epälineaarisissa kerroksissa (kuten GeLU).
3. Piirin puristus → lisää rinnakkaisuutta todisteiden luomisessa.
4. Muuntajalohkoille optimoitu full-stack-toteutus.
5/
Tulokset:
- Todistaa GPT-2-päättelyn <25 sekunnissa.
- 279× nopeampi kuin Hao et al. (USENIX'24).
- 185× nopeampi kuin ZKML (Eurosys'24).
- Suuruusluokkaa pienemmät yleiskustannukset kuin naiivit zk-muuntajatoteutukset.
6/
Miksi sillä on merkitystä:
- Mahdollistaa käytännöllisen zkLLM-käyttöönoton – voit nyt tarkistaa LLM:n lähdön sekunneissa.
- Pitää mallien painot salassa.
- Avaa ovia yksityisyyttä suojaaville tekoälypalveluille, joissa on kryptografinen auditoitavuus.
7/
Keskeinen oivallus:
Älä vain naiivisti käännä LLM:ää piiriksi.
Hyväksikäytön rakenne:
- Lineaariset operaatiot (MatMul, LayerNorm) → mukautetut tehokkuusrajoitukset.
- Epälineaariset operaatiot (GELU) → yhdistävät rajoitteet monimutkaisuuden vähentämiseksi.
- Rinnakkaisystävällinen asettelu nykyaikaisen todistelaitteiston maksimoimiseksi.
25,02 t.
554
Tällä sivulla näytettävä sisältö on kolmansien osapuolten tarjoamaa. Ellei toisin mainita, OKX ei ole lainatun artikkelin / lainattujen artikkelien kirjoittaja, eikä OKX väitä olevansa materiaalin tekijänoikeuksien haltija. Sisältö on tarkoitettu vain tiedoksi, eikä se edusta OKX:n näkemyksiä. Sitä ei ole tarkoitettu minkäänlaiseksi suositukseksi, eikä sitä tule pitää sijoitusneuvontana tai kehotuksena ostaa tai myydä digitaalisia varoja. Siltä osin kuin yhteenvetojen tai muiden tietojen tuottamiseen käytetään generatiivista tekoälyä, tällainen tekoälyn tuottama sisältö voi olla epätarkkaa tai epäjohdonmukaista. Lue aiheesta lisätietoa linkitetystä artikkelista. OKX ei ole vastuussa kolmansien osapuolten sivustojen sisällöstä. Digitaalisten varojen, kuten vakaakolikoiden ja NFT:iden, omistukseen liittyy suuri riski, ja niiden arvo voi vaihdella merkittävästi. Sinun tulee huolellisesti harkita, sopiiko digitaalisten varojen treidaus tai omistus sinulle taloudellisessa tilanteessasi.