Adam 优于 SGD 的一个引人注目的解释是，Adam 在优化稀有类别的损失方面表现更好。有些令人惊讶的是，Muon 的改进似乎是因为 Muon 在优化尾部方面比 Adam 更出色。这一切都与重尾有关。