如果你错过了 @NousResearch 的办公时间,这里是你错过的内容的摘要 🤖
Psyche 正在民主化 @solana 上的 AI 训练。
Psyche 项目概述:Psyche 旨在实现大型基础 AI 模型的协作、开源训练,减少对封闭实验室的依赖,并使用算法来最小化分布式 GPU 训练中的通信开销。
当前模型训练:他们目前正在训练一个 400 亿参数的 DeepSeek 风格的稠密 LLM,旨在强大且可在本地运行。
去中心化协调:训练协调通过 Solana 网络进行,以确保去中心化并避免单点故障。
网络挑战与解决方案:建立了一个使用 IRO 的点对点 gossip 网络,以处理节点之间的数据传输,解决了 Solana 的数据量限制。
转向 Python 后端(Torch Titan):Psyche 的代码库正在通过抽象训练后端来支持基于 Python 的训练器(集成了 Torch Titan 的一个分支)进行 "Python化",预计将提供约 2 倍的速度提升。
微调能力:Psyche 将很快支持完整的微调,包括在 Nous 开发的高级方法,计划在网络上微调即将推出的 Nous 模型。
财务审计:基于 Solana 的财务代码,管理对计算提供者的奖励分配,已成功通过两次独立审计。
未来研究(Psyche 2.0):未来的研究包括探索互联网中的张量并行(TP)、管道并行(PP)和专家并行(EP),使 Psyche 成为开发先进 AI 算法的平台。
社区贡献:开发者可以为开源的 Psyche 代码库做出贡献,创建 Atropos 强化学习代码库的新环境,并通过使用 Nous API 支持去中心化推理网络。
长期愿景:最终目标是民主化 AI 模型训练,使任何人都能为全球网络贡献计算能力,类似于 "在家折叠" 或 "在家 SETI",以创建世界上最好的开放 AI。
视频:
@aeyakovenko @0xMert_ 我需要向你们推荐 Nous 🤖
691
4
本页面内容由第三方提供。除非另有说明,欧易不是所引用文章的作者,也不对此类材料主张任何版权。该内容仅供参考,并不代表欧易观点,不作为任何形式的认可,也不应被视为投资建议或购买或出售数字资产的招揽。在使用生成式人工智能提供摘要或其他信息的情况下,此类人工智能生成的内容可能不准确或不一致。请阅读链接文章,了解更多详情和信息。欧易不对第三方网站上的内容负责。包含稳定币、NFTs 等在内的数字资产涉及较高程度的风险,其价值可能会产生较大波动。请根据自身财务状况,仔细考虑交易或持有数字资产是否适合您。