超参数

在机器学习模型中,通常训练过程会包含两种参数

  • 模型参数,即定义模型时必需的参数,这些参数需要通过训练迭代来学习。典型的模型参数为回归模型和神经网络模型中的权重。
  • 超参数,即定义模型属性或者定义训练过程的参数,这些参数通常由实践者手动指定。超参数的选择对模型最终的效果有极大的影响。典型的超参数为学习速率、迭代总次数、单步样本数量和神经网络层数等。

学习速率

学习速率是机器学习训练过程中常用的一个用于调整步长的标量。学习速率的设置会直接影响训练的过程:

  • 如果学习速率太小,则训练过程就会变得非常缓慢,导致需要花费太长的时间。
  • 如果学习速率太大,则训练过程可能会产生强烈的动荡,导致学习误差太大,甚至学习过程不再收敛。

理想的学习速率

  • 一维空间中的理想学习速率是 $\frac{ 1 }{ f(x)'' }$,即 f(x)x 的二阶导数的倒数)。
  • 二维或多维空间中的理想学习速率是海森矩阵(由二阶偏导数组成的矩阵)的倒数。
© Pengfei Ni all right reserved,powered by GitbookUpdated at 2018-03-04 20:49:50

results matching ""

    No results matching ""