Интересно, признают ли братья MiniMax публично свою ошибку, когда они поднимутся на #3. Меня раздражает, как они хвастались предполагаемым провалом масштабирования NSA и своим гениальным решением выбрать GQA (и даже не таким умным GQA, как в StepFun). Быстрая, дорогая модель с слабым вниманием.

Я не держу против них фактическое техническое решение, в любом случае они могут сделать, как и другие, и перейти на DSA/гибридный MLA (или что-то еще). Их внимание к M2 явно было сосредоточено на данных и обучении, и они добились огромного прогресса в этом. Но это было раздражающе.