Als je de kantooruren van @NousResearch hebt gemist, hier is een TLDR van wat je hebt gemist 🤖 Psyche democratiseert AI-training op @solana Psyche Projectoverzicht: Psyche heeft als doel om collaboratieve, open-source training van grote foundation AI-modellen mogelijk te maken, waardoor de afhankelijkheid van gesloten laboratoria wordt verminderd en algoritmen worden gebruikt om de communicatie-overhead in gedistribueerde GPU-training te minimaliseren. Huidige Modeltraining: Ze trainen momenteel een 40 miljard parameter DeepSeek-stijl dense LLM, ontworpen om krachtig en lokaal uitvoerbaar te zijn. Gedecentraliseerde Coördinatie: De trainingcoördinatie vindt plaats via het Solana-netwerk om decentralisatie te waarborgen en enkele punten van falen te vermijden. Netwerkuitdagingen & Oplossingen: Een peer-to-peer gossipnetwerk dat IRO gebruikt, is gebouwd om gegevensoverdracht tussen knooppunten te verwerken, waarmee de datavolume-beperkingen van Solana worden aangepakt. Overstap naar Python Backend (Torch Titan): De codebase van Psyche wordt "Pythonified" door de trainer backend te abstraheren om Python-gebaseerde trainers te ondersteunen (integratie van een fork van Torch Titan), wat naar verwachting een ~2x versnelling zal opleveren. Fijn-tuning Capaciteiten: Psyche zal binnenkort volledige fijn-tuning ondersteunen, inclusief geavanceerde methoden ontwikkeld bij Nous, met plannen om een aankomend Nous-model op het netwerk fijn te tunen. Schatz Audits: De op Solana gebaseerde schatbewaarder code, die verantwoordelijk is voor de beloningsverdeling aan rekenproviders, heeft met succes twee onafhankelijke audits doorstaan. Toekomstig Onderzoek (Psyche 2.0): Toekomstig onderzoek omvat het verkennen van Tensor Parallelism (TP), Pipeline Parallelism (PP) en Expert Parallelism (EP) via het internet om van Psyche een platform te maken voor het ontwikkelen van geavanceerde AI-algoritmen. Bijdragen van de Gemeenschap: Ontwikkelaars kunnen bijdragen aan de open-source Psyche codebase, nieuwe omgevingen creëren voor de Atropos reinforcement learning codebase, en het gedecentraliseerde inferentienetwerk ondersteunen door gebruik te maken van de Nous API. Langetermijnvisie: Het uiteindelijke doel is om AI-modeltraining te democratiseren, zodat iedereen kan bijdragen aan een wereldwijd netwerk, vergelijkbaar met "folding at home" of "SETI at home," om de beste open AI ter wereld te creëren. Video:

@aeyakovenko @0xMert_ Ik moet jullie Nous shillen 🤖