Parliamo di un altro progetto di archiviazione sviluppato dal team di @SuiNetwork, @WalrusProtocol 🧐🧐 L'azienda di sviluppo Sui, Mysten Labs, ha in realtà sviluppato un progetto di livello dati, @WalrusProtocol. Walrus è un progetto per l'archiviazione e la disponibilità dei dati. Dopo averlo studiato, ho solo una sensazione: "Incredibile". È il miglior progetto di archiviazione che abbia mai visto. Di seguito il testo principale, I progetti di archiviazione decentralizzata si dividono principalmente in due categorie. La prima categoria utilizza un metodo di replica completa (full replication), scambiando l'inefficienza della ridondanza per la sicurezza, cioè ogni nodo memorizza una copia completa dei dati, rappresentata dai progetti @Filecoin e Arweave. La seconda categoria utilizza il metodo di codifica Reed-Solomon, che conserva i dati originali in frammenti, rappresentata dai progetti @Storj, Sia, ecc. ———————————————————————————————— Spiegazione della codifica di cancellazione (Erasure Codes) in termini semplici Il metodo di archiviazione delle codifiche di cancellazione (Erasure Codes) necessita di una spiegazione: in modo rigoroso, si tratta di suddividere il file originale in f+1 frammenti originali, generando 2f frammenti di riparazione (repair slivers) aggiuntivi, ogni nodo di archiviazione conserva un frammento diverso, e qualsiasi f+1 frammenti possono ricostruire il file originale. Va bene, puoi saltare questa parte non in termini semplici e passare al paragrafo successivo. Supponiamo di dover conservare 4 numeri importanti: [3, 7, 2, 5], questi 4 numeri sono i nostri "frammenti originali". Successivamente, dobbiamo generare frammenti aggiuntivi, Frammento di riparazione 1 = 3 + 7 + 2 + 5 = 17 Frammento di riparazione 2 = 3×1 + 7×2 + 2×3 + 5×4 = 47 Frammento di riparazione 3 = 3×1² + 7×2² + 2×3² + 5×4² = 131 Ora abbiamo 7 frammenti: [3, 7, 2, 5, 17, 47, 131], giusto? Supponiamo che il sistema abbia 7 nodi, distribuiamo i dati, Zhang San: 3 Li Si: 7 Wang Wu: 2 Zhao Liu: 5 Qian Qi: 17 Sun Ba: 47 Zhou Jiu: 131 Supponiamo che Li Si, Zhao Liu e Zhou Jiu perdano i dati, abbiamo solo: [3, _, 2, _, 17, 47, _]. Come possiamo recuperare i dati originali? Ricordi le formule dei frammenti aggiuntivi? Esatto, risolviamo un'equazione lineare. 3 + X + 2 + Y = 17 3×1 + X×2 + 2×3 + Y×4 = 47 Otteniamo X=7, Y=5. Naturalmente, questo è solo un esempio molto semplice. Devi solo ricordare l'effetto raggiunto dalle codifiche di cancellazione. L'effetto è che basta che oltre 1/3 dei nodi siano operativi. In altre parole, nel sistema di codifiche di cancellazione, i nodi possono memorizzare solo frammenti di dati, e finché oltre 1/3 dei nodi possono funzionare, i dati possono essere recuperati, ma è necessario che i nodi siano stabili, poiché il costo di sostituzione è alto. Ma nel sistema di replica completa, è necessario avere nodi completi che scarichino tutte le copie dei dati. Il primo sacrifica parte della sicurezza per ottenere costi ridotti, mentre il secondo sacrifica la ridondanza per ottenere sicurezza e stabilità del sistema. ———————————————————————————————— Innovazione delle codifiche di cancellazione bidimensionali (two-dimensional, 2D) di Walrus Il metodo di Walrus, in realtà, si colloca a metà strada, raggiungendo un certo equilibrio tra i due. Il nucleo utilizza anch'esso il metodo di codifica di cancellazione, ma ha creato una tecnologia innovativa chiamata Red Stuff. Red Stuff utilizza un metodo di codifica più ingegnoso per i frammenti di dati. Ricordi l'esempio precedente delle codifiche di cancellazione? Per conservare 4 numeri importanti: [3, 7, 2, 5], dobbiamo generare frammenti aggiuntivi e infine risolvere un'equazione lineare. Usiamo ancora questo esempio per spiegare Red Stuff. Il metodo di codifica Red Stuff è un algoritmo di codifica bidimensionale (two-dimensional, 2D), puoi immaginarlo come un "sudoku". 3 7 25 in codifica Red Stuff diventa, [3 7] [2 5] Supponiamo che le regole di codifica siano, La terza colonna = la prima colonna + la seconda colonna La quarta colonna = la prima colonna×2 + la seconda colonna×2 La terza riga = la prima riga + la seconda riga La quarta riga = la prima riga×2 + la seconda riga×2 Questi sono i frammenti aggiuntivi trasformati in [3 7 10 20] [2 5 7 14] [5 12 18 34] [10 24 34 68] Successivamente, distribuiamo ai nodi secondo righe e colonne, Zhang San: 3 7 10 20, cioè la prima riga Li Si: 2 5 7 14, la seconda riga Wang Wu: 5 12 18 34,… Zhao Liu: 10 24 35 68,… Qian Qi: 3 2 5 10, la prima colonna Sun Ba: 7 5 12 24,… Zhou Jiu: 10 7 18 34,… Zheng Shi: 20 14 34 68,… Supponiamo che Wang Wu perda i dati, cioè i dati della terza riga siano persi. In realtà, ha solo bisogno di chiedere a Zhang San della prima riga e a Li Si della seconda riga, rispettivamente i numeri 10 e 7. Ancora una volta, risolviamo l'equazione lineare per ottenere il risultato. Da questi esempi semplici ma non così rigorosi, possiamo riassumere le caratteristiche di Red Stuff, Durante il recupero dei dati, non è necessario avere righe o colonne complete, basta avere i dati in posizioni specifiche. Questa caratteristica può essere definita "località". Inoltre, un numero può essere recuperato da entrambe le dimensioni, righe e colonne, cioè "riutilizzo delle informazioni". Inoltre, per dati complessi, è possibile prima recuperare le dimensioni più "facili" da calcolare, e poi utilizzare i dati già recuperati per calcolare le dimensioni più difficili, cioè "gradualità". Nell'applicazione pratica, supponiamo che un file, nell'architettura delle codifiche di cancellazione, sia codificato in 301 frammenti. Nei sistemi di codifiche di cancellazione normali, per recuperare 1 frammento sono necessari 101 frammenti, mentre in Red Stuff, per recuperare 1 coppia di frammenti sono necessari solo circa 200 simboli separati. Supponiamo di memorizzare un file di 1GB, il sistema ha 301 nodi, nei sistemi di codifiche di cancellazione normali, dopo un guasto del nodo, è necessario scaricare 1GB per recuperare il frammento, mentre in Red Stuff, ogni nodo memorizza: frammento principale (3.3MB) + frammento secondario (3.3MB) = 6.6MB. Durante il recupero, è necessario scaricare solo circa 10MB di dati simbolici, risparmiando il 99% della larghezza di banda. Questo design consente a Walrus di mantenere una rete di archiviazione decentralizzata su larga scala a un costo di larghezza di banda estremamente basso, riducendo il costo di recupero da O(|blob|) a O(|blob|/n). Ecco perché Red Stuff è chiamato "autorisolvente". Inoltre, Walrus ha aggiunto molte caratteristiche di sicurezza, come il primo protocollo a supportare le sfide di archiviazione in reti asincrone. Qui, la cosiddetta "sfida" è simile a un controllo casuale della situazione di archiviazione dei dati dei nodi, simile al meccanismo ottimista. Ogni frammento di Red Stuff aggiunge impegni crittografici verificabili (commitments), ogni simbolo può essere verificato indipendentemente, ecc. Riassumendo le caratteristiche, 1) Primo sistema di sicurezza asincrono: risolve il problema della fiducia nei nodi per l'archiviazione distribuita; 2) Autoverifica: meccanismo antifrode integrato; 3) Gradualità: gestisce le variazioni dinamiche dei nodi; 4) Scalabilità: supporta da centinaia a migliaia di nodi; Trovando il miglior equilibrio tra sicurezza ed efficienza. (Questa è la prima parte dell'articolo)