Ich frage mich, ob die MiniMax-Brüder öffentlich die Niederlage akzeptieren werden, wenn sie auf Platz #3 aufsteigen. Es war nervig, wie sie sich über das angebliche Scheitern des NSA-Scalings und ihre geniale Entscheidung, sich für GQA zu entscheiden (und nicht einmal für cleveres GQA wie in StepFun), lustig gemacht haben. Schnelles, teures Modell mit schwacher Aufmerksamkeit.

Ich halte die eigentliche technische Entscheidung nicht gegen sie, sie sind jedenfalls willkommen, es wie die anderen zu machen und auf DSA/hybrides MLA (oder etwas anderes) umzuschalten. Ihr Fokus bei M2 lag eindeutig auf Daten und Training, und sie haben dort eine Menge Fortschritte gemacht. Aber es war ärgerlich.