1/
🧵Занурюємося глибше в нашу нову роботу про zkGPT: швидке доведення висновку LLM за допомогою доказів з нульовим розголошенням.
Чому? Постачальники послуг можуть розгорнути меншу/дешевшу модель, ніж обіцяли. ЗК дозволяє їм довести правоту, не розкриваючи параметрів моделі.
📄
2/
Проблема полягає в тому, що
- LLM = потужний, але дорогий.
- Провайдери можуть обдурити, запустивши менші моделі.
- Користувачі не можуть перевірити, яку модель використовувалася.
ZK Proofs вирішують це, але нинішні системи zkML захлинаються реальними LLM:
- Немає підтримки трансформаторних архітектур.
- Величезні терміни перевірки (хвилини→години).
3/
Попередня робота:
- ZKML (Eurosys'24): Загальна система верифікації ML. Добре підходить для невеликих моделей, але занадто повільний для LLM.
- Hao et al. (USENIX Security'24): Рання спроба zkLLM, все ще досить повільна (тисячі секунд).
- Обидва страждають від масивних накладних нелінійних шарів + поганого розпаралелювання.
4/
Наші внески:
1. Ефективні докази для лінійних і нелінійних шарів, адаптованих до LLM (наприклад, GPT-2).
2. Злиття обмежень → зменшити накладні витрати в нелінійних шарах (наприклад, GeLU).
3. Стиснення ланцюга → підвищує паралельність у генерації доказів.
4. Реалізація повного стека, оптимізована для трансформаторних блоків.
5/
Результатів:
- Доводить висновок GPT-2 за <25 секунд.
- 279× швидше, ніж Hao et al. (USENIX'24).
- 185× швидше, ніж ZKML (Eurosys'24).
- На порядки менше накладних витрат, ніж у наївних реалізацій zk-трансформаторів.
6/
Чому це важливо:
- Дозволяє практичне розгортання zkLLM — тепер ви можете перевірити вихідні дані LLM за лічені секунди.
- Тримає в таємниці ваги моделі.
- Відкриває двері для сервісів штучного інтелекту, що зберігають конфіденційність, за допомогою криптографічного аудиту.
7/
Ключова думка:
Не просто наївно компілюйте LLM у схему.
Структура експлойту:
- Лінійні операції (MatMul, LayerNorm) → користувальницькими ефективними обмеженнями.
- Нелінійні операції (GELU) → об'єднані обмеження для скорочення складності.
- Паралельне компонування для максимального використання сучасного обладнання.
24,99 тис.
554
Вміст на цій сторінці надається третіми сторонами. Якщо не вказано інше, OKX не є автором цитованих статей і не претендує на авторські права на матеріали. Вміст надається виключно з інформаційною метою і не відображає поглядів OKX. Він не є схваленням жодних дій і не має розглядатися як інвестиційна порада або заохочення купувати чи продавати цифрові активи. Короткий виклад вмісту чи інша інформація, створена генеративним ШІ, можуть бути неточними або суперечливими. Прочитайте статтю за посиланням, щоб дізнатися більше. OKX не несе відповідальності за вміст, розміщений на сторонніх сайтах. Утримування цифрових активів, зокрема стейблкоїнів і NFT, пов’язане з високим ризиком, а вартість таких активів може сильно коливатися. Перш ніж торгувати цифровими активами або утримувати їх, ретельно оцініть свій фінансовий стан.