重磅乾貨，第一時間送達
本文轉自：機器學習演算法那些事
前言
線性判別分析（Linear Discriminant Analysis，以下簡稱LDA）是有監督的降維方法，在模式識別和機器學習領域中常用來降維。PCA是基於最大投影方差或最小投影距離的降維方法，LDA是基於最佳分類方案的降維方法，本文對其原理進行了詳細總結。
目錄
1。 PCA與LDA降維原理對比
2。 二類LDA演算法推導
3。 多類LDA演算法推導
4。 LDA演算法流程
5。 正態性假設
6。 LDA分類演算法
7。 LDA小結
1. PCA與LDA降維原理對比
1。1 PCA降維原理
PCA是非監督式的降維方法，在降維過程中沒有考慮類別的影響，PCA是基於最大投影方差或最小投影距離的降維方法，通俗點說，PCA降維後的樣本集最大程度的保留了初始樣本資訊，常用投影距離來描述投影前後樣本的差異資訊。
用數學公式來闡述這一思想：
其中原始樣本集（n個m維資料）：
降維後的樣本集（n個k維資料）：
假設投影變換後的新座標系（標準正交基）：
投影前後的樣本關係：
最小化（1）式，並根據條件（2），可求得最佳的投影座標系W。給定新的輸入樣本，利用（2）式可求的對應的降維樣本。
1。2 LDA降維原理
LDA是有監督的降維方法，在降維過程中考慮了類別的影響，LDA是基於最佳分類效果的降維方法。因此，降維後不同類的樣本集具有最大的分類間隔 。
如何描述最大分類間隔，當不同類樣本的投影點儘可能遠離且相同類樣本的投影點儘可能接近，則樣本集具有最大分類間隔。我們用類中心間的距離和類的協方差分別表示不同類的距離和相同類的接近程度。
本節只考慮二分類的LDA降維，不同類樣本間的投影距離：
不同類的投影協方差之和：
結合（3）（4）式，得到最佳化目標函式：
最大化（5）式，得到投影向量w，其中和分別是兩個類樣本的中心點，和分別是兩個類的協方差。
1。3 PCA與LDA降維應用場景對比
若訓練樣本集兩類的均值有明顯的差異，LDA降維的效果較優，如下圖：
由上圖可知，LDA降維後的二分類樣本集具有明顯差異的樣本分佈。
若訓練樣本集兩類的均值無明顯的差異，但協方差差異很大，PCA降維的效果較優，如下圖：
由上圖可知，PCA降維後的二分類樣本分佈較LDA有明顯的差異。
2. 二類LDA演算法推導
假設二類資料集，其中xi為m維列向量，我們定義兩類為C1和C2，即，對應的樣本集個數分別為和。
根據上一節的LDA的最佳化目標函式推導投影向量，即最大化目標函式：
其中和為二類的均值向量：
和為二類的協方差矩陣：
目標函式轉化為：
定義類內散度矩陣和類間散度矩陣：
則（6）式等價於：
我們對（7）式的分母進行標準化，則（7）式等價於：
引用拉格朗日乘子法，得：
因此，只要求出原始二類樣本的均值和協方差就可以確定最佳的投影方向w了。
3. 多類LDA演算法推導
假設k類資料集，其中xi為m維列向量，我們定義k類為
，對應的樣本集個數分別為。二類樣本資料集透過投影向量w降到一維空間，多類樣本資料集降到低維空間是一個超平面，假設投影到低維空間的維度為d，對應的基向量矩陣。
因此，多類LDA演算法的最佳化目標函式為：
其中類內散度矩陣和類間散度矩陣：
為第j類樣本的均值向量，u為所有樣本的均值向量：
因為（8）式分子分母都是矩陣，常見的一種實現是取矩陣的跡，最佳化目標函式轉化為：
最佳化過程如下：
參考二類LDA演算法，利用拉格朗日乘子法，得：
兩邊左乘：
由上式可得LDA的最優投影空間是矩陣最大d個特徵值對應的特徵向量所組成的。
4. LDA演算法流程
前兩節推導了LDA演算法，現在對LDA演算法流程進行總結，理清一下思路。
假設k類資料集，其中xi為m維列向量，我們定義k類為
，降維後的維度是d。
1）計算每個類樣本的均值向量和所有資料集的均值向量
2）計算散度矩陣，包括類內散度矩陣和類間散度矩陣
3）計算的特徵向量和對應的特徵值
4）選擇d個最大特徵值對應的矩陣，矩陣的每一列表示特徵向量
5）對資料集D進行降維，得到對應的降維資料集，其中。
5. 正態性假設
LDA演算法對資料集進行了如下假設：
1）資料集是服從正態分佈的；
2）特徵間是相互獨立的；
3）每個類的協方差矩陣是相同的；
但是如果不滿足了這三個假設，LDA演算法也能用來分類和降維，因此LDA演算法對資料集的分佈有較好的魯棒性。
6. LDA分類演算法
前面我們重點分析了LDA演算法在降維的應用，LDA演算法也能用於分類 。LDA假設各類的樣本資料集符合正態分佈，LDA對各類的樣本資料進行降維後，我們可以透過最大似然估計去計算各類別投影資料的均值和方差，如下式：
進而得到各個類樣本的機率密度函式：
其中為降維後的樣本。
因此對一個未標記的輸入樣本進行LDA分類的步驟：
1） LDA對該輸入樣本進行降維；
2）根據機率密度函式，計算該降維樣本屬於每一個類的機率；
3）最大的機率對應的類別即為預測類別。
7. LDA小結
PCA是基於最大投影方差的降維方法，LDA是基於最優分類的降維方法，當兩類的均值有明顯差異時，LDA降維方法較優；當兩類的協方差有明顯差異時，PCA降維方法較優。在實際應用中也常結合LDA和PCA一起使用，先用PCA降維去消除噪聲，再用LDA降維。
下載1：OpenCV-Contrib擴充套件模組中文版教程
下載2：Python視覺實戰專案52講
下載3：OpenCV實戰專案20講
