算法备忘录
1 无约束优化算法（梯度下降算法、牛顿法、拟牛顿法）
1.1 梯度下降算法
随机梯度下降算法
全批量梯度下降算法
小批量梯度下降算法
优点：计算量小
缺点：陷入局部最优、易振荡、一阶收敛（收敛速度慢）
1.2 牛顿法
优点：二阶收敛（收敛速度快）、不易振荡（当$x_n$,$x^$距离很小时，在$x_n$处对$f(x)$二阶泰勒展开后的方程与$f(x)$基本一致，因此不会出现在$x^$点附近振荡的情况）
缺点：计算量大（多元情况下，需要计算海森矩阵的逆）、初始点与最优点距离远会导致很难优化
