Jeśli przegapiłeś godziny pracy biura @NousResearch, oto skrót tego, co przegapiłeś 🤖
Psyche demokratyzuje szkolenie AI na @solana
Przegląd projektu Psyche: Psyche ma na celu umożliwienie współpracy i otwartego szkolenia dużych modeli AI, zmniejszając zależność od zamkniętych laboratoriów i wykorzystując algorytmy do minimalizacji obciążenia komunikacyjnego w rozproszonym szkoleniu GPU.
Aktualne szkolenie modelu: Obecnie szkolą gęsty LLM w stylu DeepSeek z 40 miliardami parametrów, zaprojektowany, aby być potężnym, a jednocześnie uruchamialnym lokalnie.
Zdecentralizowana koordynacja: Koordynacja szkolenia odbywa się w sieci Solana, aby zapewnić decentralizację i uniknąć pojedynczych punktów awarii.
Wyzwania i rozwiązania sieciowe: Zbudowano sieć peer-to-peer gossip wykorzystującą IRO do obsługi transmisji danych między węzłami, co rozwiązuje ograniczenia objętości danych Solany.
Przejście na backend w Pythonie (Torch Titan): Kod Psyche jest "Pythonizowany" poprzez abstrakcję backendu trenera, aby wspierać trenerów opartych na Pythonie (integrując fork Torch Titan), co ma zapewnić przyspieszenie o ~2x.
Możliwości dostrajania: Psyche wkrótce będzie wspierać pełne dostrajanie, w tym zaawansowane metody opracowane w Nous, z planami dostrojenia nadchodzącego modelu Nous w sieci.
Audyt skarbnika: Kod skarbnika oparty na Solanie, zarządzający dystrybucją nagród dla dostawców obliczeń, przeszedł pomyślnie dwa niezależne audyty.
Przyszłe badania (Psyche 2.0): Przyszłe badania obejmują eksplorację Tensor Parallelism (TP), Pipeline Parallelism (PP) i Expert Parallelism (EP) w Internecie, aby uczynić Psyche platformą do rozwijania zaawansowanych algorytmów AI.
Wkład społeczności: Programiści mogą przyczynić się do otwartego kodu Psyche, tworzyć nowe środowiska dla kodu uczenia się przez wzmocnienie Atropos oraz wspierać zdecentralizowaną sieć wnioskowania, korzystając z API Nous.
Długoterminowa wizja: Ostatecznym celem jest demokratyzacja szkolenia modeli AI, umożliwiając każdemu wniesienie obliczeń do globalnej sieci, podobnie jak "folding at home" czy "SETI at home", aby stworzyć najlepszą na świecie otwartą AI.
@aeyakovenko @0xMert_ Muszę wam zareklamować Nous 🤖
714
4
Treści na tej stronie są dostarczane przez strony trzecie. O ile nie zaznaczono inaczej, OKX nie jest autorem cytowanych artykułów i nie rości sobie żadnych praw autorskich do tych materiałów. Treść jest dostarczana wyłącznie w celach informacyjnych i nie reprezentuje poglądów OKX. Nie mają one na celu jakiejkolwiek rekomendacji i nie powinny być traktowane jako porada inwestycyjna lub zachęta do zakupu lub sprzedaży aktywów cyfrowych. Treści, w zakresie w jakim jest wykorzystywana generatywna sztuczna inteligencja do dostarczania podsumowań lub innych informacji, mogą być niedokładne lub niespójne. Przeczytaj podlinkowany artykuł, aby uzyskać więcej szczegółów i informacji. OKX nie ponosi odpowiedzialności za treści hostowane na stronach osób trzecich. Posiadanie aktywów cyfrowych, w tym stablecoinów i NFT, wiąże się z wysokim stopniem ryzyka i może podlegać znacznym wahaniom. Musisz dokładnie rozważyć, czy handel lub posiadanie aktywów cyfrowych jest dla Ciebie odpowiednie w świetle Twojej sytuacji finansowej.