Beyond Quadratic Loss: The Stability Phase Diagram of Adam
研究探讨了Adam优化器中因动量时间尺度不匹配导致的损失尖峰问题，通过分析不同设置下的训练动态，揭示了损失几何与动量参数之间的关系。
0 citationsRead paper
Selected work
Representative Papers
Recent publications
Latest Papers
Beyond Quadratic Loss: The Stability Phase Diagram of Adam
研究探讨了Adam优化器中因动量时间尺度不匹配导致的损失尖峰问题，通过分析不同设置下的训练动态，揭示了损失几何与动量参数之间的关系。
0 citationsRead paper