アダムがSGDに勝つ理由の説得力のある説明の1つは、アダムがレアクラスの損失を最適化するのが得意であるということです。やや意外にミューオンの改善はミューオンがアダムよりも尾をさらにうまく最適化したためと見られる。それはすべてが重い尾についてです。