3B1B線性代數的本質：從向量到抽象空間（未完待續）

污污污视频 2024-05-07 05:48 5次浏览 0 条评论 taohigo.com

00 – “線性代數的本質”系列預覽

線性代數的應用領域

幾乎所有的工程技術領域:

計算機圖形學：線性代數被廣泛應用於計算機圖形學中，例如三維圖形的旋轉、縮放和平移等操作都可以使用線性代數中的矩陣和向量來表示和計算。
機器學習：線性代數是機器學習中的基礎學科，例如矩陣和向量的乘法、矩陣的轉置和逆等操作都是機器學習算法中常用的操作。
信號處理：線性代數被廣泛應用於信號處理中，例如數字信號的濾波、降噪和壓縮等操作都可以使用線性代數中的矩陣和向量來表示和計算。
量子力學：線性代數是量子力學中的基礎學科，例如量子態的疊加和糾纏等現象都可以使用線性代數中的向量和矩陣來描述和計算。
優化問題：線性代數被廣泛應用於各種優化問題中，例如線性規劃、非線性規劃和凸優化等問題都可以使用線性代數中的矩陣和向量來表示和計算。

計算機圖形學

機器學習

信號處理

量子力學

優化問題

線性代數的理解層次

在幾何層次上，線性代數主要關註向量、向量加法、向量數乘、基、線性組合、張成空間等概念，這些概念可以用來描述幾何空間中的點、直線、平面等幾何對象。幾何層次的理解可以幫助我們更好地理解線性代數的概念和工具，以及它們在實際問題中的應用。
在數值層次上，線性代數主要關註矩陣、行列式、線性方程組、特征值和特征向量等概念，這些概念可以用來解決各種數值計算問題，例如線性方程組求解、最小二乘法、特征值問題等。數值層次的理解可以幫助我們順利地應用線性代數的工具解決實際問題。

01 – 向量究竟是什麼

不同的視角下的向量

物理專業學生的角度：向量是空間中的箭頭。
計算機專業學生的角度：向量是有序的數字列表。
數學傢的視角：隻要保證兩個向量相加以及數字與向量相乘是有意義的即可。

線性代數圍繞兩種基本運算

線性代數圍繞著兩種基本運算：向量加法和向量數乘。

向量加法可以理解為向量在空間中沿著某個方向移動一定距離。
向量數乘可以理解為數字（標量）對向量在空間中的縮放。

02 – 線性組合、張成的空間與基

基

基的不嚴格定義

在 xy 坐標系中，有兩個非常特別的向量，一個指向正右方，長度為 1 ，通常被稱為 largehat{i} (i-hat) 或者 x 方向的單位向量；另一個指向正上方，長度為 1 ，通常被稱為 largehat{j} (j-hat) 或者 y 方向的單位向量， hat{i} 與 hat{j} 是 xy 坐標系的 “基向量”，它們合起來被稱為坐標系的基。

基的嚴格定義

在線性代數中，基是指一個向量空間中的一組向量，它們可以用來表示該向量空間中的任意向量。更具體地說，如果一個向量空間 V 中有一組向量 {mathbf{v}_1,mathbf{v}_2,dots,mathbf{v}_n}，並且滿足以下兩個條件：

這組向量是線性無關的，即不存在一組不全為零的標量 {c_1,c_2,dots,c_n}，使得 c_1mathbf{v}_1+c_2mathbf{v}_2+cdots+c_nmathbf{v}_n=mathbf{0}。
這組向量張成瞭整個向量空間 V，即對於任意一個向量 mathbf{v}in V，都可以表示為 mathbf{v}=c_1mathbf{v}_1+c_2mathbf{v}_2+cdots+c_nmathbf{v}_n 的形式。

那麼，這組向量就是向量空間 V 的一組基。總而言之，向量空間的一組基是張成該空間的一個線性無關向量集。

不同向量實際上是兩個經過縮放的基向量的和

線性組合

兩個向量標量乘法之和（avec{v}+bvec{w}）的結果被稱為這兩個向量的線性組合。

張成空間

所有可以表示為給定向量線性組合的向量的集合被稱為給定向量張成的空間。

二維空間中

大部分情況下，對於一對初始向量，你能到達平面上的每一點。
當兩個初始向量恰好共線時，所產生的向量終點被限制在一條過原點的直線上。
如果兩個向量都是零向量，就隻能乖乖呆在原點瞭。

三維空間中

在三維空間中取兩個指向不同方向的向量，這兩個向量張成的空間就是它們所有可能的線性組合，這個終點會畫出一個三維空間中過原點的平面，即這兩個向量的張成空間（大部分情況下）。

三維空間中兩個向量可能的張成空間

新增一個向量，當你縮放第三個向量時，它將前兩個向量張成的平面沿它的方向來回移動，從而掃過整個空間*（大部分情況下）。

向量與點

單個向量可以看作是一個箭頭，而對於多個向量，通常我們用向量的終點來代表該向量。
如果我們要考慮所有落在一條直線上的向量，隻需要考慮這條直線本身即可。
同樣地，如果我們要考慮所有二維向量，隻需要考慮無限大的二維平面本身即可。這種方法可以簡化向量的處理，因為我們隻需要考慮向量所在的空間本身，而不需要考慮向量的具體位置。

線性相關 & 線性無關

如果你有多個向量，並且可以移除其中一個向量而不會減小它們所張成的空間，那麼這些向量就被稱為 “線性相關” 的。換句話說，其中一個向量可以表示為其他向量的線性組合，因為這個向量已經落在其他向量張成的空間之中。
如果所有向量都給張成的空間增添瞭新的維度，那麼它們就被稱為是 “線性無關" 的。

線性相關

線性無關

03 – 矩陣與線性變換

關於“線性變換”

“變換”是什麼

在線性代數中，變換本質上是函數的一種花哨的說法，它實際接收一個向量並輸出另一個向量。

示例（復平面上的變換）：

“線性”是什麼

線性代數限制在一種特殊類型的變換上，稱為 "線性變換"。

該特殊類型的變換（線性變換）滿足：

關於這種特殊類型的變換的反例：

如何用數值描述線性變換？

如何用數值描述線性變換？（給它一個向量的坐標，它能給你變換後向量的坐標）

Pasted image 20230205001426.png

網格線保持平行且等距分佈的性質有一個重要的推論：

Pasted image 20230205222507.png

換而言之，vec{v}是hat{i}和hat{j}的一個特定線性組合，那麼變換後的vec{v}也是變換後的hat{i}和hat{j}的同樣的線性組合，這意味著，你可以隻根據變換後的hat{i}和hat{j}，就推斷出變換後的vec{v}。

隻要記錄瞭變換後的hat{i}和hat{j}，我們就可以推斷出任何向量在變換之後的位置

矩陣

矩陣在這裡隻是一個記號，它含有描述一個線性變換的信息（變換後的基向量）。
不同的矩陣可以理解為對空間的一種特定變換。

特殊的矩陣

逆時針旋轉90°

剪切

列線性相關

矩陣乘法

我們可以把矩陣向量乘法看作它們的線性組合，矩陣向量乘法就是計算線性變換作用於給定向量的一種途徑。

04 – 矩陣乘法與線性變換復合

05 – 行列式

06 – 逆矩陣、列空間與零空間

det(A)≠0

在這種情況下，有且僅有一個向量（在變換後）與 v 重合，並且你可以通過逆向進行變換來找到這個向量

det(A)=0

與這個方程組相關的變換將空間壓縮到更低的維度上，此時沒有逆變換，你不能將一條線 “ 解壓縮 " 為一個平面，沒有函數能這樣做（函數隻能將一個輸入變換為一個輸出）。

image-20230131234051355.png

秩

秩可以粗略理解為變換後空間的維數，其更精確的定義是列空間的維數。
image-20230131234506291.pngimage-20230131234550141.pngimage-20230131234556490.png

07 – 點積與對偶性

點積

普通角度理解點積：兩個向量同維度，其對應位置數相乘，將所有乘積加起來的結果就是兩向量的點積。
從線性變換的角度理解點積：一個向量向另一個向量做投影，投影長度與另一個向量長度的積（正負代表向量方向同向反向）。

對偶性解釋瞭點積為何可以是向量對應坐標乘積的和，也是向量投影後長度的乘積。
點積可以看做一個向量向另一個向量投影，其計算過程中對應的操作其實可以看做是將其向量向以另一個向量為坐標軸的一維坐標的投影操作。而且由於對偶性，其變換矩陣恰好可以寫作是另一個向量轉為矩陣的形式作線性變換，其數值恰好相同（由於對偶性）

對偶性（duality）→自然而又出乎意料的對應關系多維空間到數軸的線性變換都與唯一一個向量對應。此向量稱之為這個變換的對偶向量，使得到數軸線性變換與點乘該向量效果一致。