介绍 RND1，这是迄今为止最强大的基础扩散语言模型（DLM）。 RND1（Radical Numerics Diffusion）是一个实验性的 DLM，具有 30B 参数（3B 活跃），采用稀疏 MoE 架构。 我们将其开源，发布权重、训练细节和代码，以促进对 DLM 推理和后训练的进一步研究。 我们是来自 DeepMind、Meta、Liquid 和斯坦福的研究人员和工程师，正在构建递归自我改进（RSI）的引擎——并利用它来加速我们的工作。我们的目标是让 AI 设计 AI。 我们正在招聘。