线性判别分析

线性判别分析(Linear Discriminant Analysis,LDA)是一种经典的线性分类方法。它设法将数据集投影到一条直线上,使得同类样例的投影点尽可能接近,异类样例的投影点尽可能远。这样,在分类时,新样本同样投影到这条直线上,根据投影点的位置来确定类别。

由于LDA把原来N维的样本投影到了N-1维空间,因而也常被视为一种经典的降维技术。

LDA算法

预使得同类样例的投影点尽可能接近,可以让同类样例投影点的协方差尽可能小,即wT0w+wT1ww^T\sum_0w+w^T\sum_1w尽可能小。预使得异类样例的投影点尽可能远,可以让不同类样例的投影点尽可能远,即让类中心距离尽可能大,即wTu0wTu122||w^Tu_0-w^Tu_1||_2^2尽可能大。这样,目标函数为

J=wTSbwwTSwwJ=\frac{w^TS_bw}{w^TS_ww}

其中

类内散度矩阵Sw=0+1=xϵX0(xu0)(xu0)T+xϵX1(xu1)(xu1)TS_w=\sum_0+\sum_1=\sum_{x \epsilon X_0}(x-u_0)(x-u_0)^T+\sum_{x \epsilon X_1}(x-u_1)(x-u_1)^T

类间散度矩阵 Sb=(u0u1)(u0u1)TS_b=(u_0-u_1)(u_0-u_1)^T

使用拉格朗日乘子法 Sbw=λSwwS_bw=\lambda S_ww,可以求解得到

w=Sw1(u0u1)w=S_w^{-1}(u_0-u_1)

对多分类情况,SbW=λSwWS_bW=\lambda S_wWWW的解是Sw1SbS_w^{-1}S_bN1N-1 个最大广义特征值所对应的特征向量组成的矩阵。

© Pengfei Ni all right reserved,powered by GitbookUpdated at 2017-10-25 13:41:35

results matching ""

    No results matching ""