Представляем RND1, самую мощную базовую языковую модель диффузии (DLM) на сегодняшний день. RND1 (Radical Numerics Diffusion) — это экспериментальная DLM с 30B параметрами (3B активными) и разреженной архитектурой MoE. Мы делаем её открытым исходным кодом, публикуя веса, детали обучения и код, чтобы стимулировать дальнейшие исследования в области вывода DLM и постобучения. Мы — исследователи и инженеры (DeepMind, Meta, Liquid, Стэнфорд), создающие движок для рекурсивного самоулучшения (RSI) — и используем его для ускорения нашей собственной работы. Наша цель — позволить ИИ разрабатывать ИИ. Мы нанимаем.