Adam 優於 SGD 的一個引人注目的解釋是，Adam 在優化稀有類別的損失方面表現更好。有些令人驚訝的是，Muon 的改進似乎是因為 Muon 在優化尾部方面比 Adam 更出色。這一切都與重尾有關。