1/
🧵aprofundando-se em nosso novo trabalho no zkGPT: Provando a inferência de LLM rapidamente com provas de conhecimento zero.
Por que? Os provedores de serviços podem implantar um modelo menor/mais barato do que o prometido. O ZK permite que eles provem a exatidão sem revelar os parâmetros do modelo.
📄
2/
O problema:
- LLMs = poderosos, mas caros.
- Os provedores podem trapacear executando modelos menores.
- Os usuários não podem verificar qual modelo foi usado.
As provas ZK resolvem isso, mas os sistemas zkML atuais engasgam com LLMs reais:
- Sem suporte para arquiteturas de transformadores.
- Grandes tempos de prova (minutos→horas).
3/
Trabalho anterior:
- ZKML (Eurosys'24): Estrutura geral de verificação de ML. Bom para modelos pequenos, mas muito lento para LLMs.
- Hao et al. (USENIX Security'24): Tentativa inicial de zkLLM, ainda muito lenta (milhares de segundos).
- Ambos sofrem de sobrecarga de camada não linear maciça + paralelização ruim.
4/
Nossas contribuições:
1. Provas eficientes para camadas lineares e não lineares adaptadas a LLMs (por exemplo, GPT-2).
2. A fusão de restrições → reduzir a sobrecarga em camadas não lineares (como GeLU).
3. O → de compressão de circuito aumenta o paralelismo na geração de provas.
4. Implementação full-stack otimizada para blocos transformadores.
5/
Resultados:
- Prova a inferência GPT-2 em <25 segundos.
- 279× mais rápido que Hao et al. (USENIX'24).
- 185× mais rápido que o ZKML (Eurosys'24).
- Ordens de magnitude menos sobrecarga do que implementações ingênuas de transformador zk.
6/
Por que é importante:
- Permite a implantação prática do zkLLM - agora você pode verificar a saÃda de um LLM em segundos.
- Mantém os pesos do modelo em segredo.
- Abre portas para serviços de IA que preservam a privacidade com auditabilidade criptográfica.
7/
Insight chave:
Não basta compilar ingenuamente um LLM em um circuito.
Estrutura de exploração:
- Operações lineares (MatMul, LayerNorm) → restrições eficientes personalizadas.
- Operações não lineares (GELU) → restrições fundidas para reduzir a complexidade.
- Layout paralelo para maximizar o hardware moderno do provador.
25Â mil
554
O conteúdo desta página é fornecido por terceiros. A menos que especificado de outra forma, a OKX não é a autora dos artigos mencionados e não reivindica direitos autorais sobre os materiais apresentados. O conteúdo tem um propósito meramente informativo e não representa as opiniões da OKX. Ele não deve ser interpretado como um endosso ou aconselhamento de investimento de qualquer tipo, nem como uma recomendação para compra ou venda de ativos digitais. Quando a IA generativa é utilizada para criar resumos ou outras informações, o conteúdo gerado pode apresentar imprecisões ou incoerências. Leia o artigo vinculado para mais detalhes e informações. A OKX não se responsabiliza pelo conteúdo hospedado em sites de terceiros. Possuir ativos digitais, como stablecoins e NFTs, envolve um risco elevado e pode apresentar flutuações significativas. Você deve ponderar com cuidado se negociar ou manter ativos digitais é adequado para sua condição financeira.