如果你錯過了 @NousResearch 的辦公時間,這裡有一個你錯過的重點摘要 🤖
Psyche 正在民主化 @solana 上的 AI 訓練
Psyche 項目概述:Psyche 旨在實現大型基礎 AI 模型的協作開源訓練,減少對封閉實驗室的依賴,並使用算法來最小化分佈式 GPU 訓練中的通信開銷。
當前模型訓練:他們目前正在訓練一個 400 億參數的 DeepSeek 風格的密集 LLM,旨在強大且可在本地運行。
去中心化協調:訓練協調在 Solana 網絡上進行,以確保去中心化並避免單點故障。
網絡挑戰與解決方案:建立了一個使用 IRO 的點對點 gossip 網絡來處理節點之間的數據傳輸,解決了 Solana 的數據量限制。
轉向 Python 後端(Torch Titan):Psyche 的代碼庫正在通過抽象訓練後端來支持基於 Python 的訓練者(集成了 Torch Titan 的一個分支)進行 "Python 化",預計將提供約 2 倍的速度提升。
微調能力:Psyche 將很快支持完整的微調,包括在 Nous 開發的先進方法,計劃在網絡上微調即將推出的 Nous 模型。
財務審計:基於 Solana 的財務代碼,管理對計算提供者的獎勵分配,已成功通過兩次獨立審計。
未來研究(Psyche 2.0):未來的研究包括探索互聯網上的張量並行(TP)、管道並行(PP)和專家並行(EP),使 Psyche 成為開發先進 AI 算法的平台。
社區貢獻:開發者可以為開源的 Psyche 代碼庫做出貢獻,為 Atropos 強化學習代碼庫創建新環境,並通過使用 Nous API 支持去中心化推理網絡。
長期願景:最終目標是民主化 AI 模型訓練,使任何人都能為全球網絡貢獻計算能力,類似於 "在家摺疊" 或 "在家 SETI",以創造世界上最好的開放 AI。
視頻:
@aeyakovenko @0xMert_ 我需要向你們推廣 Nous 🤖
689
4
本頁面內容由第三方提供。除非另有說明,OKX 不是所引用文章的作者,也不對此類材料主張任何版權。該內容僅供參考,並不代表 OKX 觀點,不作為任何形式的認可,也不應被視為投資建議或購買或出售數字資產的招攬。在使用生成式人工智能提供摘要或其他信息的情況下,此類人工智能生成的內容可能不準確或不一致。請閱讀鏈接文章,瞭解更多詳情和信息。OKX 不對第三方網站上的內容負責。包含穩定幣、NFTs 等在內的數字資產涉及較高程度的風險,其價值可能會產生較大波動。請根據自身財務狀況,仔細考慮交易或持有數字資產是否適合您。