0G 訓練了迄今為止最大的分散式 LLM - 超過 100B 參數!! 0G 的最新突破證明,超過 100B 參數的 LLM 可以在去中心化的集群上進行訓練,即使在網速較慢的情況下。 這打破了大型 AI 模型需要集中式超級計算機的神話,並為開放、低成本和全球可及的 AI 開啟了新時代。 0G 的去中心化數據基礎設施是其支柱,為每個人提供可擴展的、私密的和抗審查的 AI。 簡而言之: → DiLoCoX 解決了計算協調問題。 → 0G 解決了數據訪問、擁有權和可用性問題。 → 我們共同解鎖了真正去中心化、開放 AI 的未來。 為什麼這是一個重要的突破? 傳統的大型模型訓練(如 GPT-3)依賴於集中式的高速 GPU 集群,並配備超快的互連(例如,NVIDIA NVLink、Infiniband)。這是昂貴的、集中式的,並且僅限於少數幾個參與者(OpenAI、Google、Meta 等)。 DiLoCoX 證明現在可以僅使用 1Gbps 帶寬在去中心化集群上訓練超過 100B 參數的模型;這種設置對於大多數研究實驗室或社區驅動的網絡來說都是可用的。 AI 的未來就在這裡!0G Labs FTW
0G Labs (Ø,G) - AI L1
0G Labs (Ø,G) - AI L18月5日 08:53
AI 基礎的重大變革正在進行中,而 0G Labs 正在引領這一變革。 @sandy_carter 在 @Forbes 上的最新文章捕捉了 @0G_Research 的最新突破:0G 訓練了迄今為止最大的分佈式 LLM - 超過 100B 的參數。 深入了解 →
1.86K