Hablemos del otro proyecto de almacenamiento desarrollado por el equipo de @SuiNetwork, @WalrusProtocol 🧐🧐 La empresa desarrolladora de Sui, Mysten Labs, también ha creado un proyecto de capa de datos, @WalrusProtocol. Walrus es un proyecto dedicado al almacenamiento de datos y a la disponibilidad de datos. Después de investigar, mi única sensación fue: "increíble". Este es el mejor proyecto de almacenamiento que he visto. A continuación, el texto principal, Los proyectos de almacenamiento descentralizado se dividen principalmente en dos categorías. La primera categoría utiliza un método de replicación completa (full replication), intercambiando eficiencia por seguridad, es decir, cada nodo almacena una copia completa de los datos, representando proyectos como @Filecoin y Arweave. La segunda categoría utiliza el método de códigos de borrado de Reed-Solomon, que divide los datos originales en fragmentos, representando proyectos como @Storj, Sia, entre otros. ———————————————————————————————— Explicación de los códigos de borrado (Erasure Codes) en un lenguaje sencillo La forma de almacenamiento de los códigos de borrado (Erasure Codes) necesita ser explicada. Estrictamente hablando, se divide el archivo original en f+1 fragmentos originales, generando 2f fragmentos adicionales de reparación (repair slivers), donde cada nodo de almacenamiento guarda un fragmento diferente, y cualquier f+1 fragmentos pueden reconstruir el archivo original. Está bien, puedes saltarte esta parte técnica y ver el siguiente párrafo. Supongamos que queremos guardar 4 números importantes: [3, 7, 2, 5], estos 4 números son nuestros "fragmentos originales". A continuación, generamos fragmentos adicionales, Fragmento de reparación 1 = 3 + 7 + 2 + 5 = 17 Fragmento de reparación 2 = 3×1 + 7×2 + 2×3 + 5×4 = 47 Fragmento de reparación 3 = 3×1² + 7×2² + 2×3² + 5×4² = 131 Ahora tenemos 7 fragmentos: [3, 7, 2, 5, 17, 47, 131], ¿verdad? Supongamos que el sistema tiene 7 nodos, los distribuimos, Zhang San: 3 Li Si: 7 Wang Wu: 2 Zhao Liu: 5 Qian Qi: 17 Sun Ba: 47 Zhou Jiu: 131 Supongamos que Li Si, Zhao Liu y Zhou Jiu pierden sus datos, solo tenemos: [3, _, 2, _, 17, 47, _]. ¿Cómo recuperamos los datos originales? ¿Recuerdas la fórmula de los fragmentos adicionales? Correcto, resolvemos un sistema de ecuaciones lineales. 3 + X + 2 + Y = 17 3×1 + X×2 + 2×3 + Y×4 = 47 Obtenemos X=7, Y=5. Por supuesto, este es solo un ejemplo muy simplificado. Solo necesitas recordar el efecto que logran los códigos de borrado. El efecto es que, mientras más del 1/3 de los nodos estén operativos, está bien. En otras palabras, en un sistema de códigos de borrado, los nodos solo necesitan almacenar fragmentos de datos, siempre que más del 1/3 de los nodos puedan funcionar, los datos pueden ser recuperados, pero se necesita que los nodos sean estables, ya que el costo de reemplazo es alto. Pero en un sistema de replicación completa, se necesita que existan nodos completos que descarguen todas las copias de datos. El primero sacrifica parte de la seguridad a cambio de un bajo costo, mientras que el segundo sacrifica redundancia a cambio de seguridad y estabilidad del sistema. ———————————————————————————————— Innovación de códigos de borrado bidimensional (two-dimensional, 2D) de Walrus El enfoque de Walrus, en realidad, elimina el punto intermedio, logrando un cierto equilibrio entre ambos. El núcleo también utiliza códigos de borrado, pero ha creado una tecnología mejorada llamada Red Stuff. Red Stuff utiliza un método de codificación más ingenioso para fragmentar los datos. ¿Recuerdas el ejemplo anterior de códigos de borrado? Para guardar 4 números importantes: [3, 7, 2, 5], se generan fragmentos adicionales y finalmente se resuelve un sistema de ecuaciones lineales. Sigamos con este ejemplo para explicar Red Stuff. El método de codificación de Red Stuff es un algoritmo de codificación bidimensional (two-dimensional, 2D), puedes imaginarlo como un “sudoku”. 3 7 25 en la codificación de Red Stuff se convierte en, [3 7] [2 5] Supongamos que la regla de codificación es, Columna 3 = Columna 1 + Columna 2 Columna 4 = Columna 1×2 + Columna 2×2 Fila 3 = Fila 1 + Fila 2 Fila 4 = Fila 1×2 + Fila 2×2 Esto convierte los fragmentos adicionales en [3 7 10 20] [2 5 7 14] [5 12 18 34] [10 24 34 68] A continuación, distribuimos según filas y columnas a los nodos, Zhang San: 3 7 10 20, es decir, la primera fila Li Si: 2 5 7 14, segunda fila Wang Wu: 5 12 18 34,… Zhao Liu: 10 24 35 68,… Qian Qi: 3 2 5 10, primera columna Sun Ba: 7 5 12 24,… Zhou Jiu: 10 7 18 34,… Zheng Shi: 20 14 34 68,… Supongamos que Wang Wu pierde datos, es decir, se pierde la tercera fila. En realidad, solo necesita preguntar a Zhang San de la primera fila y a Li Si de la segunda fila, pidiéndoles los números 10 y 7. Igualmente, se resuelve un sistema de ecuaciones lineales para obtener el resultado. De los ejemplos anteriores, aunque no tan rigurosos, podemos resumir las características de Red Stuff, Al recuperar datos, no se necesita una fila o columna completa, solo se requiere datos de posiciones específicas. Esta característica se puede denominar "localidad". Además, un número puede ser recuperado desde dos dimensiones, filas y columnas, es decir, "reutilización de información". Por último, para datos complejos, se puede recuperar primero la dimensión más "fácil" para calcular, y luego utilizar los datos recuperados para calcular la dimensión más difícil, es decir, "progresividad". En la aplicación práctica, supongamos que un archivo, en la arquitectura de códigos de borrado, se codifica en 301 fragmentos. En un sistema de códigos de borrado típico, recuperar 1 fragmento requiere 101 fragmentos, mientras que en Red Stuff, recuperar 1 par de fragmentos solo requiere aproximadamente 200 símbolos individuales. Supongamos que almacenamos un archivo de 1GB, el sistema tiene 301 nodos, en un sistema típico de códigos de borrado, después de una falla de nodo, se necesita descargar 1GB para recuperar el fragmento, mientras que en Red Stuff, cada nodo almacena: fragmento principal (3.3MB) + fragmento secundario (3.3MB) = 6.6MB. Al recuperar, solo se necesita descargar aproximadamente 10MB de datos simbólicos, ahorrando el 99% del ancho de banda. Este diseño permite que Walrus mantenga una red de almacenamiento descentralizada a gran escala con un costo de ancho de banda extremadamente bajo, reduciendo el costo de recuperación de O(|blob|) a O(|blob|/n). Esta es la razón por la que Red Stuff se llama "auto-reparador". Además, Walrus ha incorporado muchas características de seguridad, como ser el primer protocolo en soportar desafíos de almacenamiento en redes asíncronas. Aquí, el llamado "desafío" es similar a la verificación optimista de la situación de almacenamiento de datos de los nodos. Red Stuff añade compromisos criptográficos verificables (commitments) a cada fragmento, cada símbolo puede ser verificado de forma independiente, etc. Resumiendo las características, 1) Primer sistema asíncrono seguro: resuelve el problema de confianza de los nodos en el almacenamiento distribuido; 2) Auto-verificable: mecanismo de prevención de falsificaciones incorporado; 3) Progresivo: maneja cambios dinámicos en los nodos; 4) Escalable: soporta desde cientos hasta miles de nodos; Buscando el mejor equilibrio entre seguridad y eficiencia. (Lo anterior es la primera parte de este artículo)