機器學習數學-線性代數(下)

在第1部分中,我們從在機器學習中使用線性代數的動機開始。我們詳細研究了向量。什麼是向量?可以對向量及其屬性執行的操作。讓我們繼續學習並開始機器學習的數學第二部分。

我們將首先研究剩下的幾個與向量相關的概念,然後繼續研究本文中的矩陣,即機器學習數學第2部分。

更改座標系:

在上一部分中,我們瞭解到向量實際上是資訊列表,並且它正試圖最適合太空。我們還沒有真正描述過空間或座標系及其對向量的影響以及對其他向量的投影。如果您還沒有遍歷機器學習數學系列的第一部分,那麼您可能現在想要!考慮二維座標系。

機器學習數學-線性代數(下)

在此,座標的選擇是任意的。我們可以使用任何角度和任何長度的向量來定義軸。實際上,我們可以將向量r描述為一些用於描述空間的向量之和。

考慮下圖。

機器學習數學-線性代數(下)

向量集b1和b2可用於定義向量rb,如向量re。這些向量e和b是基本向量。只要我們知道es的bs值,就可以使用基向量b來定義r。但是這裡最大的前提是兩個基向量彼此成90度角。否則,我們必須在從e到b的軸上進行一些矩陣變換。

我們可以在這裡找到投影乘積或點乘積的應用,以便根據bs查詢r。

現在,嘗試將r投影到向量b1上。它在b1上形成陰影併成直角。我們在這裡得到標量投影。標量投影的數量給出了向量b1對向量r有貢獻的概念。換句話說,我們需要多少b1。

類似地,r在b2上的投影將在投影長度的b2方向上給出一個向量。在b1和b2上將這兩個向量投影相加,將得到r。

如何確保我們正在考慮的基向量彼此成90度?我們可以使用點積。我們知道,

機器學習數學-線性代數(下)

b1和b2的乘積應為0以得到cos(0)= 1

考慮以上值,b1。b2 = 2 * -2 + 1 * 4 = 0

因此,上面的基向量彼此成90度,我們可以在這裡進行投影。

現在讓我們以數學的方式來做,

機器學習數學-線性代數(下)

這意味著re在b1上的投影是b1的2倍。現在,這是根據原始向量e1和e2進行的。

機器學習數學-線性代數(下)

類似地,我們對re在b2上的其他投影進行了處理。

機器學習數學-線性代數(下)

在原始基礎e中,這是向量r(上方)。在基數b中,rb將是

機器學習數學-線性代數(下)

這樣,我們僅使用點積就可以將向量r從e組基礎向量更改為b組基礎向量。

這表明描述我們的資料的向量未繫結到原始軸。我們總是可以使用其他基本向量作為軸來重新描述它。要注意的另一件事是,仔細選擇軸可以幫助我們解決線性代數中的許多問題。當基本向量正交或彼此成直角時,我們可以使用點積或投影積來描述空間中的向量。

基礎,向量空間和線性獨立性:

在這一部分中,我們將詳細瞭解基本,向量空間和線性獨立性的含義。

基礎是一組n個向量,它們相互之間及其空間線性獨立。表示它們沒有任何線性組合。這裡考慮的空間是n維的。

考慮一個向量b1,另一個不是b1的倍數的向量b2,

機器學習數學-線性代數(下)

這是一個二維空間。要考慮另一個向量b3作為基本向量,我們必須滿足一個條件。

機器學習數學-線性代數(下)

我們必須找到滿足上述條件的數字a1和a2。如果找到a1和a2的這種組合,則可以將b3視為第三基向量,並且它將是線性獨立的。它不在與b1和b2相同的空間中,並且必須在該空間之外具有一個分量以定義三維空間。

對於第四基向量,它不應為b1,b2和b3的線性組合。等等。

從一組基礎向量到另一組基礎向量的任何對映都將空間保留為規則間隔的網格。事物可能會被顛倒,拉伸或旋轉,但它們保持均勻的間隔並且線性組合仍然有效。線上性代數中,線性意味著什麼。

機器學習數學-線性代數(下)

變更基準的應用:

考慮一些資料點和透過它們的線。資料科學領域的產品線為我提供了有關資料的資訊。資料點與線之間的距離是多少,與原點之間的距離是多少?

機器學習數學-線性代數(下)

此資訊告訴我有關資料的噪聲。如果資料點遠離線並沿著線,則資料會更加嘈雜。換句話說,它告訴資料的最佳擬合線。線的優劣可以透過資料點與線的距離來衡量。距離越短,好處越多。

假設我們有一個識別人臉的神經網路。我們可能希望將畫素對映到新的基向量,以獲得一些資訊豐富的特徵。像眼睛的顏色或面部形狀等。目標是轉換原始基礎向量,並匯出一組新的基礎向量,以提取一些目標資訊。

這使我們對向量和空間維數如何幫助我們進行機器學習有所瞭解。

矩陣:

現在,讓我們進入矩陣。這些是幫助我們拉伸和旋轉向量的物件。他們還幫助我們解決了其他一些問題。

回顧最後一部分的雜貨店購物問題。我們以8元的價格購買了2個蘋果和3個香蕉。改天,我花了13元買了10個蘋果和1個香蕉。假設我們想得到1個蘋果或1個香蕉的價格。當然,在現實世界中,問題並不是那麼簡單。

2a + 3b = 8

10a + 1b = 13

我們可以將這些聯立方程寫成矩陣。

機器學習數學-線性代數(下)

解決,

2a + 3b = 8

10a + 1b = 13

在此考慮,第一矩陣對第一向量進行運算以給出另一個向量。我們對這種矩陣變換感興趣,以獲得正確的向量。

現在,讓我們看看將矩陣與單位基向量相乘會發生什麼。

機器學習數學-線性代數(下)

這意味著它將採用單位向量,例如e1並將其更改為e‘1。

機器學習數學-線性代數(下)

現在,取另一個基向量,

機器學習數學-線性代數(下)

因此,我們看到此矩陣以某種方式將原始基礎向量轉換為另一個向量。它是對某些輸入向量進行運算以提供輸出向量的函式。

上面的聯立方程以某種方式詢問他們需要什麼向量才能在空間中的位置8 13獲得變換值。

線性代數實際上是一個操縱向量所描述的空間的系統。要求解聯立方程,我們必須考慮向量以及矩陣如何轉換它們,這實際上是線性代數的核心。

矩陣轉換:

考慮矩陣A,輸入向量r和改變的向量r’。

機器學習數學-線性代數(下)

矩陣與n相乘得到,

A(nr)= nr‘

同樣地,新增向量會得到

A(r + s)=Ar +As

考慮一個例子,

機器學習數學-線性代數(下)

因此,我們可以將矩陣乘法視為變換後的基礎向量的向量和的乘積。矩陣A告訴我們基本向量是如何變換的。

矩陣轉換的型別:

考慮不變或未變換的矩陣。它由一個基本矩陣組成,並且不會改變與其相乘的向量。

機器學習數學-線性代數(下)

這稱為以I表示的單位矩陣。它保留向量並且不更改它。

現在考慮一個在對角線上帶有前導數字的矩陣。

機器學習數學-線性代數(下)

這將縮放基本向量。x軸為3倍,y軸為2倍。

類似地,在矩陣中具有負值將翻轉基本向量。

機器學習數學-線性代數(下)

考慮另一個矩陣,它將兩個軸都翻轉。這使其成為反矩陣。

機器學習數學-線性代數(下)

這使我們對矩陣如何變換空間中的向量有一個想法。透過拉伸,旋轉,剪下等檢查這個矩陣變換很好的資源。

矩陣變換的組合:

回顧神經網路在面部識別中的應用。我們可以透過旋轉,逆轉等組合來更改表示式並進行轉換。

考慮基礎向量座標。然後應用第一個變換A,它將逆時針旋轉90度。

機器學習數學-線性代數(下)

讓我們採用另一個矩陣並將其視為映象。

機器學習數學-線性代數(下)

現在,問一個問題。如果將A2應用於A1會發生什麼?

A2將翻轉A1的結果。

機器學習數學-線性代數(下)

機器學習數學-線性代數(下)

因此,矩陣乘法是不可交換的。

雖然,它是關聯的。

A3(A2A1)=(A3A2)A1

但是我們不能更改順序。

總結:

我們繼續介紹線性代數。我們透過討論向量空間以及變化的軸如何影響資料向量來總結向量。我們還研究了更改基向量的一些應用。接下來,我們從矩陣開始,瞭解它們實際上是空間中的向量變換以及矩陣變換的型別。