超参数

在机器学习模型中，通常训练过程会包含两种参数

• 模型参数，即定义模型时必需的参数，这些参数需要通过训练迭代来学习。典型的模型参数为回归模型和神经网络模型中的权重。
• 超参数，即定义模型属性或者定义训练过程的参数，这些参数通常由实践者手动指定。超参数的选择对模型最终的效果有极大的影响。典型的超参数为学习速率、迭代总次数、单步样本数量和神经网络层数等。

学习速率

学习速率是机器学习训练过程中常用的一个用于调整步长的标量。学习速率的设置会直接影响训练的过程：

• 如果学习速率太小，则训练过程就会变得非常缓慢，导致需要花费太长的时间。
• 如果学习速率太大，则训练过程可能会产生强烈的动荡，导致学习误差太大，甚至学习过程不再收敛。

理想的学习速率

• 一维空间中的理想学习速率是 $\frac{ 1 }{ f(x)’’ }$，即 f(x) 对 x 的二阶导数的倒数）。
• 二维或多维空间中的理想学习速率是海森矩阵（由二阶偏导数组成的矩阵）的倒数。