小小程序员
2021-05-15 22:29:39
收敛 (convergence)
通俗来说，收敛通常是指在训练期间达到的一种状态，即经过一定次数的迭代之后，训练损失和验证损失在每次迭代中的变化都非常小或根本没有变化。也就是说，如果采用当前数据进行额外的训练将无法改进模型，模型即达到收敛状态。在深度学习中，损失值有时会在最终下降之前的多次迭代中保持不变或几乎保持不变，暂时形成收敛的假象。
另参阅早停法。
另参阅 Boyd 和 Vandenberghe 合著的 Convex Optimization（《凸优化》）。
条内容