1/
🧵zagłębiamy się w naszą nową pracę nad zkGPT: Szybkie udowadnianie wnioskowania LLM za pomocą dowodów zerowej wiedzy.
Dlaczego? Dostawcy usług mogą wdrożyć mniejszy/tańszy model niż obiecano. ZK pozwala im udowodnić poprawność bez ujawniania parametrów modelu.
📄
2/
Problem:
- LLM-y = potężne, ale kosztowne.
- Dostawcy mogą oszukiwać, uruchamiając mniejsze modele.
- Użytkownicy nie mogą zweryfikować, który model został użyty.
Dowody ZK rozwiązują ten problem, ale obecne systemy zkML mają trudności z rzeczywistymi LLM-ami:
- Brak wsparcia dla architektur transformatorowych.
- Ogromne czasy dowodzenia (minuty→godziny).
3/
Poprzednia praca:
- ZKML (Eurosys’24): Ogólny framework weryfikacji ML. Dobry dla małych modeli, ale zbyt wolny dla LLM-ów.
- Hao i in. (USENIX Security’24): Wczesna próba zkLLM, nadal dość wolna (tysiące sekund).
- Oba cierpią z powodu ogromnego narzutu na warstwy nieliniowe + słabej paralelizacji.
4/
Nasze wkłady:
1. Efektywne dowody dla warstw liniowych i nieliniowych dostosowane do LLM (np. GPT-2).
2. Fuzja ograniczeń → zmniejsza narzut w warstwach nieliniowych (jak GeLU).
3. Ściskanie obwodu → zwiększa równoległość w generowaniu dowodów.
4. Pełna implementacja zoptymalizowana dla bloków transformatorów.
5/
Wyniki:
- Dowodzi wnioskowania GPT-2 w <25 sekund.
- 279× szybsze niż Hao i in. (USENIX'24).
- 185× szybsze niż ZKML (Eurosys'24).
- O rzędy wielkości mniejsze opóźnienie niż w prostych implementacjach zk-transformera.
6/
Dlaczego to ma znaczenie:
- Umożliwia praktyczne wdrożenie zkLLM — teraz możesz zweryfikować wyniki LLM w ciągu kilku sekund.
- Zachowuje tajność wag modelu.
- Otwiera drzwi do usług AI chroniących prywatność z audytowalnością kryptograficzną.
7/
Kluczowa wskazówka:
Nie kompiluj naiwne LLM do obwodu.
Wykorzystaj strukturę:
- Operacje liniowe (MatMul, LayerNorm) → niestandardowe efektywne ograniczenia.
- Operacje nieliniowe (GELU) → połączone ograniczenia, aby zredukować złożoność.
- Układ przyjazny dla równoległości, aby maksymalnie wykorzystać nowoczesny sprzęt dowodowy.
25,01 tys.
554
Treści na tej stronie są dostarczane przez strony trzecie. O ile nie zaznaczono inaczej, OKX nie jest autorem cytowanych artykułów i nie rości sobie żadnych praw autorskich do tych materiałów. Treść jest dostarczana wyłącznie w celach informacyjnych i nie reprezentuje poglądów OKX. Nie mają one na celu jakiejkolwiek rekomendacji i nie powinny być traktowane jako porada inwestycyjna lub zachęta do zakupu lub sprzedaży aktywów cyfrowych. Treści, w zakresie w jakim jest wykorzystywana generatywna sztuczna inteligencja do dostarczania podsumowań lub innych informacji, mogą być niedokładne lub niespójne. Przeczytaj podlinkowany artykuł, aby uzyskać więcej szczegółów i informacji. OKX nie ponosi odpowiedzialności za treści hostowane na stronach osób trzecich. Posiadanie aktywów cyfrowych, w tym stablecoinów i NFT, wiąże się z wysokim stopniem ryzyka i może podlegać znacznym wahaniom. Musisz dokładnie rozważyć, czy handel lub posiadanie aktywów cyfrowych jest dla Ciebie odpowiednie w świetle Twojej sytuacji finansowej.