Idag släpper vi 4 hybridmodeller av storlekarna 70B, 109B MoE, 405B, 671B MoE under öppen licens. Dessa är några av de starkaste LLM:erna i världen och fungerar som ett bevis på konceptet för ett nytt AI-paradigm - iterativ självförbättring (AI-system som förbättrar sig själva). Den största 671B MoE-modellen är bland de starkaste öppna modellerna i världen. Den matchar/överträffar prestandan hos de senaste DeepSeek v3- och DeepSeek R1-modellerna, och närmar sig modeller med sluten gräns som o3 och Claude 4 Opus.