Si vous avez manqué les heures de bureau de @NousResearch, voici un TLDR sur ce que vous avez raté 🤖 Psyche démocratise la formation en IA sur @solana Aperçu du projet Psyche : Psyche vise à permettre la formation collaborative et open-source de grands modèles d'IA fondamentaux, réduisant la dépendance aux laboratoires fermés et utilisant des algorithmes pour minimiser la surcharge de communication dans la formation distribuée sur GPU. Formation actuelle des modèles : Ils sont actuellement en train de former un LLM dense de style DeepSeek avec 40 milliards de paramètres, conçu pour être puissant tout en étant exécutable localement. Coordination décentralisée : La coordination de la formation se fait sur le réseau Solana pour garantir la décentralisation et éviter les points de défaillance uniques. Défis et solutions de mise en réseau : Un réseau de gossip pair-à-pair utilisant IRO a été construit pour gérer la transmission de données entre les nœuds, abordant les limitations de volume de données de Solana. Passage au backend Python (Torch Titan) : La base de code de Psyche est en train d'être "Pythonifiée" en abstraisant le backend du formateur pour prendre en charge les formateurs basés sur Python (intégrant un fork de Torch Titan), ce qui devrait fournir un gain de vitesse d'environ 2x. Capacités de fine-tuning : Psyche prendra bientôt en charge le fine-tuning complet, y compris des méthodes avancées développées chez Nous, avec des plans pour affiner un modèle Nous à venir sur le réseau. Audits des trésoriers : Le code de trésorier basé sur Solana, gérant la distribution des récompenses aux fournisseurs de calcul, a réussi deux audits indépendants. Recherche future (Psyche 2.0) : La recherche future inclut l'exploration du parallélisme tensoriel (TP), du parallélisme de pipeline (PP) et du parallélisme d'expert (EP) sur Internet pour faire de Psyche une plateforme de développement d'algorithmes d'IA avancés. Contributions de la communauté : Les développeurs peuvent contribuer à la base de code open-source de Psyche, créer de nouveaux environnements pour la base de code d'apprentissage par renforcement Atropos, et soutenir le réseau d'inférence décentralisé en utilisant l'API Nous. Vision à long terme : L'objectif ultime est de démocratiser la formation de modèles d'IA, permettant à quiconque de contribuer au calcul d'un réseau mondial, similaire à "folding at home" ou "SETI at home," pour créer la meilleure IA ouverte au monde. Vidéo :

@aeyakovenko @0xMert_ J'ai besoin de vous faire la promotion de Nous 🤖