Eu me pergunto se os MiniMax bros vão publicamente aceitar a derrota quando avançarem para o #3. Tem sido irritante como eles se gabarão sobre o suposto fracasso da escalabilidade da NSA e sua decisão genial de optar pelo GQA (e nem mesmo um GQA inteligente como no StepFun). Modelo rápido e caro com atenção fraca.

Não tenho nada contra a decisão técnica real deles, de qualquer forma, estão à vontade para fazer como os outros e mudar para DSA/MLA híbrido (ou qualquer outra coisa). O foco deles com o M2 tem sido claramente dados e treinamento, e eles fizeram um progresso enorme nessa área. Mas foi irritante.