0G 训练了迄今为止最大的分布式 LLM - 超过 100B 参数!! 0G 最新的突破证明,超过 100B 参数的 LLM 可以在去中心化集群上进行训练,即使在慢速互联网环境下也能实现。 这打破了大型 AI 模型需要集中式超级计算机的神话,并为开放、低成本和全球可访问的 AI 新时代打开了大门。 0G 的去中心化数据基础设施是支柱,能够为每个人提供可扩展、私密和抗审查的 AI。 简而言之: → DiLoCoX 解决了计算协调问题。 → 0G 解决了数据访问、所有权和可用性问题。 → 通过合作,我们解锁了真正去中心化、开放 AI 的未来。 为什么这是一个重要的突破? 传统的大型模型训练(如 GPT-3)依赖于集中式、高速 GPU 集群,配备超快的互连(例如,NVIDIA NVLink、Infiniband)。这既昂贵又集中,且仅限于少数参与者(OpenAI、Google、Meta 等)。 DiLoCoX 证明,现在可以仅使用 1Gbps 带宽在去中心化集群上训练超过 100B 参数的模型;这种设置对大多数研究实验室或社区驱动的网络都是可用的。 AI 的未来就在这里!0G Labs FTW
0G Labs (Ø,G) - AI L1
0G Labs (Ø,G) - AI L18月5日 08:53
人工智能基础正在发生重大变化,而0G Labs正处于这一变革的前沿。 @sandy_carter 在 @Forbes 上的最新文章捕捉了 @0G_Research 的最新突破:0G训练了迄今为止最大的分布式LLM - 超过1000亿个参数。 深入了解 →
2.14K