总结深度学习中主要的优化方法。

深度学习中优化方法

1. 梯度下降法

1.1 梯度下降算法变种

• Batch gradient descent BGD
• Stochastic gradient descent SGD
• Mini-batch gradient descent MBGD

1.2 梯度下降优化算法

• 指数加权平均（Exponentially weighted average）

• Momentum

$\begin{array}{lcl} v_t = \gamma v_{t-1} + \eta \nabla_{\theta}J(\theta)\\ \theta = \theta - v_t \end{array}$

• Nesterov Momentum

• Adagrad

• RMSprop 未统一单位 $G_t \leftarrow E[g^2]_t=\gamma E[g^2]_{t-1} + (1-\gamma)g^2_t \\\theta_{t+1} = \theta_{t} - \frac{\eta }{\sqrt{G_t + \epsilon}}g_t$

• Adadelta 统一单位

• Adam

增加修正项： $\hat{E[g]_t} = \frac{E[g]_t}{1-\beta_1} \\ \hat{E[g^2]_t} = \frac{E[g^2]_t}{1-\beta_2} \\$ 最终迭代： $\theta_{t+1} = \theta_{t} - \frac{\eta }{\sqrt{\hat{E[g^2]_t} + \epsilon}}\hat{E[g]_t}$ 动态图1 动态图2

参考文献

• https://blog.csdn.net/u012328159/article/details/80311892
• https://blog.csdn.net/shuzfan/article/details/75675568
• https://zhuanlan.zhihu.com/p/31630368
• http://www.lunarnai.cn/2017/05/14/gradient-descent/