Цікаво, чи MiniMax Bros публічно програють, коли піднімуться до #3. Дратує, як вони хвалилися нібито провалом масштабування NSA і своїм геніальним рішенням обрати GQA (і навіть не розумного GQA, як у StepFun). Швидка, дорога модель із слабкою увагою.

Я не тримаю на них зла за технічне рішення, але вони можуть зробити, як інші, і перейти на DSA/гібридний MLA (або щось інше). Їхня увага в M2 явно була зосереджена на даних і тренуванні, і вони досягли значного прогресу в цьому напрямку. Але це дратувало.