最优化（二）：从收益-风险约束看 Adam 和 Muon，优化器如何选择一次更新？
阅读 知乎未公开
收藏 38
点赞 20
上一篇我们从梯度、曲率和参数尺度出发，梳理了 SGD、Adam、AdamW 与 Muon。这一篇换一个视角：金融里的收益与风险。Adam 的更新大致是： 表示平滑后的梯度方向， 表示历史梯度的均方根尺度。形式上，它很像“信号除以波动尺度”，因此容易让人联想到 Sharpe ratio。但这个类比一旦继续追问“哪个参数是资产、哪几个方向组成投资组合”，就...
Read article