0Gはこれまでで最大の分散型LLMをトレーニングします-100B+パラメータ!! 0G の最新のブレークスルーは、100B+ パラメーターの LLM が低速のインターネットでも分散型クラスターでトレーニングできることを証明しています。 これにより、大規模な AI モデルには集中型スーパーコンピューターが必要であるという神話が打ち砕かれ、オープンで低コストでグローバルにアクセス可能な AI の新時代への扉が開かれます。 0G の分散型データインフラはバックボーンであり、スケーラブルでプライベートで検閲に強い AI をすべての人に可能にします。 要旨: → DiLoCoXは、コンピューティングの調整の問題を解決します。 → 0G は、データ アクセス、所有権、可用性の問題を解決します。 → 私たちは力を合わせて、真に分散型のオープン AI の未来を切り開きます。 なぜこれが重要なブレークスルーなのでしょうか? 大規模なモデル (GPT-3 など) の従来のトレーニングは、超高速相互接続 (NVIDIA NVLink、Infiniband など) を備えた集中型高速 GPU クラスターに依存しています。これは高価で、中央集権化されており、少数のプレーヤー (OpenAI、Google、Meta など) に限定されています。 DiLoCoXは、わずか1Gbpsの帯域幅を使用して、分散型クラスター上で100B+パラメータモデルをトレーニングすることが可能になったことを証明しました。ほとんどの研究室またはコミュニティ主導のネットワークで利用できる種類のセットアップ。 AIの未来がここにあります!0GラボFTW