Discutons du projet de stockage développé par l'équipe @SuiNetwork, @WalrusProtocol 🧐🧐 La société de développement Sui, Mysten Labs, a en fait développé un projet de couche de données, @WalrusProtocol. Walrus est un projet axé sur le stockage de données et la disponibilité des données. Après mes recherches, j'ai une seule impression : "incroyable". C'est le meilleur projet de stockage que j'ai jamais vu. Voici le corps du texte, Les projets de stockage décentralisé se divisent principalement en deux catégories. La première catégorie utilise une méthode de réplication complète (full replication), échangeant une redondance inefficace contre la sécurité, c'est-à-dire que chaque nœud stocke une copie complète des données, représentant les projets @Filecoin et Arweave. La deuxième catégorie utilise la méthode de code de correction d'erreurs Reed-Solomon, qui divise les données originales en morceaux, représentant les projets @Storj, Sia, etc. ———————————————————————————————— Expliquer les codes de correction d'erreurs (Erasure Codes) en termes simples La méthode de stockage des codes de correction d'erreurs (Erasure Codes) nécessite une explication. Pour être précis, elle consiste à diviser le fichier original en f+1 morceaux originaux, générant 2f morceaux de réparation supplémentaires (repair slivers), chaque nœud de stockage conservant un morceau différent, et n'importe quel f+1 morceaux peuvent reconstruire le fichier original. D'accord, vous pouvez sauter cette explication technique et passer à la suivante. Supposons que nous devions sauvegarder 4 chiffres importants : [3, 7, 2, 5], ces 4 chiffres sont nos "morceaux originaux". Ensuite, nous devons générer des morceaux supplémentaires, Morceau de réparation 1 = 3 + 7 + 2 + 5 = 17 Morceau de réparation 2 = 3×1 + 7×2 + 2×3 + 5×4 = 47 Morceau de réparation 3 = 3×1² + 7×2² + 2×3² + 5×4² = 131 Maintenant, nous avons 7 morceaux : [3, 7, 2, 5, 17, 47, 131], n'est-ce pas ? Supposons que le système ait 7 nœuds, nous les distribuons, Zhang San : 3 Li Si : 7 Wang Wu : 2 Zhao Liu : 5 Qian Qi : 17 Sun Ba : 47 Zhou Jiu : 131 Supposons que Li Si, Zhao Liu et Zhou Jiu perdent leurs données, nous n'avons que : [3, _, 2, _, 17, 47, _]. Comment récupérer les données originales ? Vous vous souvenez de la formule des morceaux supplémentaires ? Exactement, il s'agit de résoudre un système d'équations linéaires. 3 + X + 2 + Y = 17 3×1 + X×2 + 2×3 + Y×4 = 47 Nous obtenons X=7, Y=5. Bien sûr, c'est juste un exemple très simplifié. Vous devez juste retenir l'effet des codes de correction d'erreurs. L'effet est que tant qu'il y a plus de 1/3 des nœuds fonctionnels, c'est bon. En d'autres termes, dans un système de codes de correction d'erreurs, les nœuds n'ont besoin de stocker que des morceaux de données, tant que plus de 1/3 des nœuds peuvent fonctionner, les données peuvent être récupérées, mais les nœuds doivent être stables, car le coût de remplacement est élevé. Mais dans un système de réplication complète, il doit y avoir des nœuds complets qui téléchargent toutes les copies de données. Le premier sacrifie une partie de la sécurité pour obtenir des coûts réduits, tandis que le second échange la redondance pour la sécurité et la stabilité du système. ———————————————————————————————— Innovation des codes de correction d'erreurs en deux dimensions (2D) de Walrus La méthode de Walrus consiste en fait à trouver un point intermédiaire, atteignant un certain équilibre entre les deux. Le cœur utilise également la méthode des codes de correction d'erreurs, mais a créé une technologie améliorée appelée Red Stuff. Red Stuff utilise une méthode de codage plus astucieuse pour le découpage des données. Vous vous souvenez de l'exemple précédent des codes de correction d'erreurs ? Pour sauvegarder 4 chiffres importants : [3, 7, 2, 5], nous devons générer des morceaux supplémentaires, puis résoudre un système d'équations linéaires. Prenons encore cet exemple pour expliquer Red Stuff. La méthode de codage Red Stuff est un algorithme de codage en deux dimensions (2D), que vous pouvez imaginer comme un "sudoku". 3 7 25 dans le codage Red Stuff devient, [3 7] [2 5] Supposons que la règle de codage soit, Colonne 3 = Colonne 1 + Colonne 2 Colonne 4 = Colonne 1×2 + Colonne 2×2 Ligne 3 = Ligne 1 + Ligne 2 Ligne 4 = Ligne 1×2 + Ligne 2×2 Les morceaux supplémentaires deviennent [3 7 10 20] [2 5 7 14] [5 12 18 34] [10 24 34 68] Ensuite, nous distribuons par lignes et colonnes aux nœuds, Zhang San : 3 7 10 20, c'est-à-dire la première ligne Li Si : 2 5 7 14, la deuxième ligne Wang Wu : 5 12 18 34, … Zhao Liu : 10 24 35 68, … Qian Qi : 3 2 5 10, la première colonne Sun Ba : 7 5 12 24, … Zhou Jiu : 10 7 18 34, … Zheng Shi : 20 14 34 68, … Supposons que Wang Wu perde ses données, c'est-à-dire que les données de la 3ème ligne sont perdues. En fait, il lui suffit de demander à Zhang San de la première ligne et à Li Si de la deuxième ligne, respectivement, les chiffres 10 et 7. Encore une fois, il s'agit de résoudre un système d'équations linéaires pour obtenir le résultat. À partir de ces exemples simples mais pas très rigoureux, nous pouvons résumer les caractéristiques de Red Stuff, Lors de la récupération des données, il n'est pas nécessaire d'avoir des lignes ou des colonnes complètes, il suffit d'avoir les données à des positions spécifiques. Cette caractéristique peut être appelée "localité". De plus, un chiffre peut être récupéré à partir de deux dimensions, c'est-à-dire "réutilisation de l'information". Ensuite, pour des données complexes, on peut d'abord récupérer les dimensions plus "faciles" à calculer, puis utiliser les données récupérées pour calculer les dimensions plus difficiles, c'est-à-dire "progressivité". Dans les applications pratiques, supposons qu'un fichier, dans une architecture de codes de correction d'erreurs, soit codé en 301 morceaux. Dans un système de codes de correction d'erreurs classique, la récupération d'un morceau nécessite 101 morceaux, tandis que dans Red Stuff, la récupération d'une paire de morceaux nécessite seulement environ 200 symboles individuels. Supposons que nous stockions un fichier de 1 Go, le système a 301 nœuds, dans un système de codes de correction d'erreurs classique, après une panne de nœud, il faut télécharger 1 Go pour récupérer le morceau, tandis que dans Red Stuff, chaque nœud stocke : morceau principal (3,3 Mo) + morceau secondaire (3,3 Mo) = 6,6 Mo. Lors de la récupération, il suffit de télécharger environ 10 Mo de données symboliques, économisant 99 % de bande passante. Ce design permet à Walrus de maintenir un réseau de stockage décentralisé à grande échelle avec un coût de bande passante extrêmement bas, réduisant le coût de récupération de O(|blob|) à O(|blob|/n). C'est pourquoi Red Stuff est appelé "auto-réparateur". En outre, Walrus a ajouté de nombreuses caractéristiques de sécurité, comme étant le premier protocole à prendre en charge les défis de stockage dans un réseau asynchrone. Le "défi" ici est similaire à un mécanisme optimiste pour vérifier l'état de stockage des données des nœuds. Chaque morceau de Red Stuff ajoute des engagements cryptographiques vérifiables, chaque symbole pouvant être vérifié indépendamment, etc. Pour résumer les caractéristiques, 1) Premier système asynchrone sécurisé : résout le problème de confiance des nœuds dans le stockage distribué ; 2) Auto-vérifiable : mécanisme anti-contrefaçon intégré ; 3) Progressif : gère les changements dynamiques des nœuds ; 4) Évolutif : prend en charge des centaines à des milliers de nœuds ; Pour trouver le meilleur équilibre entre sécurité et efficacité. (Ceci est la première partie de cet article)