これまでで最も強力なベース拡散言語モデル(DLM)であるRND1のご紹介です。 RND1 (Radical Numerics Diffusion) は、スパース MoE アーキテクチャを備えた 30B パラメータ (3B アクティブ) を持つ実験的な DLM です。 私たちはそれをオープンソースにし、重み、トレーニングの詳細、コードをリリースして、DLM推論とポストトレーニングに関するさらなる研究を促進しています。 私たちは研究者兼エンジニア(DeepMind、Meta、Liquid、Stanford)であり、再帰的自己改善(RSI)のエンジンを構築し、それを使用して私たち自身の研究を加速しています。 私たちの目標は、AI に AI を設計させることです。 採用中です。