1/
🧵đi sâu hơn vào công việc mới của chúng tôi về zkGPT: Chứng minh suy diễn LLM nhanh với Bằng chứng Không Kiến thức.
Tại sao? Các nhà cung cấp dịch vụ có thể triển khai một mô hình nhỏ hơn/rẻ hơn so với đã hứa. ZK cho phép họ chứng minh tính chính xác mà không tiết lộ các tham số của mô hình.
📄
2/
Vấn đề:
- LLMs = mạnh mẽ nhưng tốn kém.
- Các nhà cung cấp có thể gian lận bằng cách chạy các mô hình nhỏ hơn.
- Người dùng không thể xác minh mô hình nào đã được sử dụng.
Chứng minh ZK giải quyết vấn đề này, nhưng các hệ thống zkML hiện tại gặp khó khăn với các LLM thực:
- Không hỗ trợ cho kiến trúc transformer.
- Thời gian chứng minh khổng lồ (phút → giờ).
3/
Công việc trước đây:
- ZKML (Eurosys’24): Khung xác minh ML tổng quát. Tốt cho các mô hình nhỏ, nhưng quá chậm cho LLMs.
- Hao et al. (USENIX Security’24): Nỗ lực zkLLM đầu tiên, vẫn khá chậm (hàng nghìn giây).
- Cả hai đều gặp phải chi phí lớn từ các lớp phi tuyến + khả năng song song kém.
4/
Các đóng góp của chúng tôi:
1. Chứng minh hiệu quả cho các lớp tuyến tính & phi tuyến được thiết kế riêng cho LLMs (ví dụ: GPT-2).
2. Kết hợp ràng buộc → giảm chi phí trong các lớp phi tuyến (như GeLU).
3. Ép mạch → tăng cường khả năng song song trong việc tạo chứng minh.
4. Triển khai toàn diện được tối ưu hóa cho các khối transformer.
5/
Kết quả:
- Chứng minh suy diễn GPT-2 trong <25 giây.
- Nhanh hơn 279× so với Hao et al. (USENIX'24).
- Nhanh hơn 185× so với ZKML (Eurosys'24).
- Ít chi phí hơn nhiều so với các triển khai zk-transformer ngây thơ.
6/
Tại sao điều này quan trọng:
- Cho phép triển khai zkLLM thực tiễn — bạn có thể xác minh đầu ra của một LLM trong vài giây.
- Giữ bí mật trọng số của mô hình.
- Mở ra cơ hội cho các dịch vụ AI bảo vệ quyền riêng tư với khả năng kiểm toán bằng mật mã.
7/
Thông tin chính:
Đừng chỉ đơn giản biên dịch một LLM thành một mạch.
Tận dụng cấu trúc:
- Các phép toán tuyến tính (MatMul, LayerNorm) → ràng buộc hiệu quả tùy chỉnh.
- Các phép toán phi tuyến (GELU) → ràng buộc kết hợp để giảm độ phức tạp.
- Bố trí thân thiện với song song để tối đa hóa phần cứng chứng minh hiện đại.
25 N
554
Nội dung trên trang này được cung cấp bởi các bên thứ ba. Trừ khi có quy định khác, OKX không phải là tác giả của bài viết được trích dẫn và không tuyên bố bất kỳ bản quyền nào trong các tài liệu. Nội dung được cung cấp chỉ nhằm mục đích thông tin và không thể hiện quan điểm của OKX. Nội dung này không nhằm chứng thực dưới bất kỳ hình thức nào và không được coi là lời khuyên đầu tư hoặc lời chào mời mua bán tài sản kỹ thuật số. Việc sử dụng AI nhằm cung cấp nội dung tóm tắt hoặc thông tin khác, nội dung do AI tạo ra có thể không chính xác hoặc không nhất quán. Vui lòng đọc bài viết trong liên kết để biết thêm chi tiết và thông tin. OKX không chịu trách nhiệm về nội dung được lưu trữ trên trang web của bên thứ ba. Việc nắm giữ tài sản kỹ thuật số, bao gồm stablecoin và NFT, có độ rủi ro cao và có thể biến động rất lớn. Bạn phải cân nhắc kỹ lưỡng xem việc giao dịch hoặc nắm giữ tài sản kỹ thuật số có phù hợp hay không dựa trên tình hình tài chính của bạn.