1/
🧵углубляемся в нашу новую работу над zkGPT: Быстрое доказательство вывода LLM с помощью нулевых знаний.
Почему? Поставщики услуг могут развернуть меньшую/дешевую модель, чем обещали. ZK позволяет им доказать правильность, не раскрывая параметры модели.
📄
2/
Проблема:
- LLM = мощные, но дорогие.
- Поставщики могут обмануть, запуская меньшие модели.
- Пользователи не могут проверить, какая модель была использована.
ZK-доказательства решают эту проблему, но текущие системы zkML не справляются с реальными LLM:
- Нет поддержки архитектур трансформеров.
- Огромное время доказательства (минуты→часы).
3/
Предыдущая работа:
- ZKML (Eurosys’24): Общая рамка для верификации ML. Хорошо подходит для небольших моделей, но слишком медленно для LLM.
- Хао и др. (USENIX Security’24): Ранняя попытка zkLLM, все еще довольно медленно (тысячи секунд).
- Обе страдают от огромных накладных расходов на нелинейные слои + плохой параллелизм.
4/
Наши вклады:
1. Эффективные доказательства для линейных и нелинейных слоев, адаптированные для LLM (например, GPT-2).
2. Слияние ограничений → уменьшение накладных расходов в нелинейных слоях (таких как GeLU).
3. Сжатие схемы → увеличивает параллелизм в генерации доказательств.
4. Полноценная реализация, оптимизированная для блоков трансформеров.
5/
Результаты:
- Подтверждает вывод GPT-2 за <25 секунд.
- В 279 раз быстрее, чем Hao и др. (USENIX'24).
- В 185 раз быстрее, чем ZKML (Eurosys'24).
- На порядки меньше накладных расходов, чем у наивных реализаций zk-transformer.
6/
Почему это важно:
- Обеспечивает практическое развертывание zkLLM — теперь вы можете проверять вывод LLM за считанные секунды.
- Сохраняет секретность весов модели.
- Открывает двери для AI-сервисов, сохраняющих конфиденциальность, с криптографической аудируемостью.
7/
Ключевая идея:
Не просто наивно компилируйте LLM в схему.
Используйте структуру:
- Линейные операции (MatMul, LayerNorm) → пользовательские эффективные ограничения.
- Нелинейные операции (GELU) → объединенные ограничения для снижения сложности.
- Параллельно-дружественная компоновка для максимального использования современного оборудования провера.
25,02 тыс.
554
Содержание этой страницы предоставляется третьими сторонами. OKX не является автором цитируемых статей и не имеет на них авторских прав, если не указано иное. Материалы предоставляются исключительно в информационных целях и не отражают мнения OKX. Материалы не являются инвестиционным советом и призывом к покупке или продаже цифровых активов. Раздел использует ИИ для создания обзоров и кратких содержаний предоставленных материалов. Обратите внимание, что информация, сгенерированная ИИ, может быть неточной и непоследовательной. Для получения полной информации изучите соответствующую оригинальную статью. OKX не несет ответственности за материалы, содержащиеся на сторонних сайтах. Цифровые активы, в том числе стейблкоины и NFT, подвержены высокому риску, а их стоимость может сильно колебаться. Перед торговлей и покупкой цифровых активов оцените ваше финансовое состояние и принимайте только взвешенные решения.