1/
🧵深入探讨我们在 zkGPT 上的新工作：通过零知识证明快速证明 LLM 推理的正确性。
为什么？服务提供商可能会部署一个比承诺的更小/更便宜的模型。ZK 让他们在不透露模型参数的情况下证明正确性。
📄
2/
问题：
- LLMs = 强大但成本高。
- 提供者可能通过运行较小的模型来作弊。
- 用户无法验证使用了哪个模型。
ZK 证明解决了这个问题，但当前的 zkML 系统在真实的 LLMs 上表现不佳：
- 不支持变换器架构。
- 证明时间巨大（分钟→小时）。
3/
之前的工作：
- ZKML（Eurosys’24）：通用的机器学习验证框架。适合小模型，但对于大型语言模型（LLMs）来说速度太慢。
- Hao等人（USENIX Security’24）：早期的zkLLM尝试，仍然相当慢（数千秒）。
- 两者都受到巨大的非线性层开销和糟糕的并行化影响。
4/
我们的贡献：
1. 针对大型语言模型（如 GPT-2）定制的线性和非线性层的高效证明。
2. 约束融合 → 减少非线性层（如 GeLU）的开销。
3. 电路压缩 → 提升证明生成的并行性。
4. 针对变换器块优化的全栈实现。
5/
结果：
- 在<25秒内证明了GPT-2推理。
- 比Hao等人（USENIX'24）快279倍。
- 比ZKML（Eurosys'24）快185倍。
- 比天真的zk-transformer实现的开销低几个数量级。
6/
为什么这很重要：
- 实现了实用的 zkLLM 部署——您现在可以在几秒钟内验证 LLM 的输出。
- 保持模型权重的机密性。
- 为具有密码审计能力的隐私保护 AI 服务打开了大门。
7/
关键见解：
不要天真地将 LLM 编译成电路。
利用结构：
- 线性操作（MatMul，LayerNorm）→ 自定义高效约束。
- 非线性操作（GELU）→ 融合约束以降低复杂性。
- 并行友好的布局以最大化现代证明硬件的性能。
2.5万
554
本页面内容由第三方提供。除非另有说明，欧易不是所引用文章的作者，也不对此类材料主张任何版权。该内容仅供参考，并不代表欧易观点，不作为任何形式的认可，也不应被视为投资建议或购买或出售数字资产的招揽。在使用生成式人工智能提供摘要或其他信息的情况下，此类人工智能生成的内容可能不准确或不一致。请阅读链接文章，了解更多详情和信息。欧易不对第三方网站上的内容负责。包含稳定币、NFTs 等在内的数字资产涉及较高程度的风险，其价值可能会产生较大波动。请根据自身财务状况，仔细考虑交易或持有数字资产是否适合您。