Presentiamo RND1, il modello di linguaggio di diffusione (DLM) più potente mai realizzato. RND1 (Radical Numerics Diffusion) è un DLM sperimentale con 30 miliardi di parametri (3 miliardi attivi) con un'architettura MoE sparsa. Lo rendiamo open source, rilasciando pesi, dettagli di addestramento e codice per catalizzare ulteriori ricerche sull'inferenza DLM e sul post-addestramento. Siamo ricercatori e ingegneri (DeepMind, Meta, Liquid, Stanford) che costruiscono il motore per il miglioramento auto-ripetitivo (RSI) — e lo usiamo per accelerare il nostro lavoro. Il nostro obiettivo è permettere all'AI di progettare AI. Stiamo assumendo.