AI技术百科
小小程序员
2021-05-15 22:48:38
优化器 (optimizer)
梯度下降法的一种具体实现。TensorFlow 的优化器基类是 tf.train.Optimizer。不同的优化器(tf.train.Optimizer
的子类)会考虑如下概念:
动量 (Momentum)
更新频率 (AdaGrad = ADAptive GRADient descent; Adam = ADAptive with Momentum;RMSProp)
稀疏性/正则化 (Ftrl)
更复杂的计算方法 (Proximal, 等等)
甚至还包括 NN 驱动的优化器。