Category Archives: 凸优化

MXNet高级优化算法

这部分是MXNet第六课的高级凸优化的学习记录,包含基本的凸函数性质说明,主要讲解了收敛率以及后面的高级优化算法,包括动量法、Adagrad、AdaDelta、RMSProp、Adam。重点介绍了一个由动量法引入的EMA(Exponential Moving Average,即指数平均数指标),在包括Adam等等优化算法都有它的身影。

 
Continue reading