格拉姆-施密特正交化

線性代數
	向量 · 向量空間 · 基底 · 行列式 · 矩陣
向量
	標量 · 向量 · 向量空間 · 向量投影 · 外積（叉積 · 七維叉積） · 內積（點積） · 二重向量
矩陣與行列式
	矩陣 · 行列式 · 線性方程組 · 秩 · 核 · 跡 · 單位矩陣 · 初等矩陣 · 方塊矩陣 · 分塊矩陣 · 三角矩陣 · 非奇異方陣 · 轉置矩陣 · 逆矩陣 · 對角矩陣 · 可對角化矩陣 · 對稱矩陣 · 反對稱矩陣 · 正交矩陣 · 幺正矩陣 · 埃爾米特矩陣 · 反埃爾米特矩陣 · 正規矩陣 · 伴隨矩陣 · 余因子矩陣 · 共軛轉置 · 正定矩陣 · 冪零矩陣 · 矩陣分解（LU分解 · 奇異值分解 · QR分解 · 極分解 · 特徵分解） · 子式和餘子式 · 拉普拉斯展開 · 克羅內克積
線性空間與線性變換
	線性空間 · 線性變換 · 線性子空間 · 線性生成空間 · 基 · 線性映射 · 線性投影 · 線性無關 · 線性組合 · 線性泛函 · 行空間與列空間 · 對偶空間 · 正交 · 特徵向量 · 最小二乘法 · 格拉姆-施密特正交化
	閱; 論; 編;

在線性代數中，如果內積空間上的一組向量能夠組成一個子空間，那麼這一組向量就稱為這個子空間的一個基。Gram－Schmidt正交化提供了一種方法，能夠通過這一子空間上的一個基得出子空間的一個正交基，並可進一步求出對應的標準正交基。

這種正交化方法以約爾根·佩德森·格拉姆（英語：Jørgen Pedersen Gram）和艾哈德·施密特（英語：Erhard Schmidt）命名，然而比他們更早的拉普拉斯（Laplace）和柯西（Cauchy）已經發現了這一方法。在李群分解中，這種方法被推廣為岩澤分解（Iwasawa decomposition）。

在數值計算中，Gram－Schmidt正交化是數值不穩定的，計算中累積的捨入誤差會使最終結果的正交性變得很差。因此在實際應用中通常使用豪斯霍爾德變換或Givens旋轉進行正交化。可以用於矩陣計算。

記法

${\boldsymbol {V}}^{n}$ ：維數為n 的內積空間
${\boldsymbol {v}}\in {\boldsymbol {V}}^{n}$ ： ${\boldsymbol {V}}^{n}$ 中的元素，可以是向量、函數，等等
$\langle {\boldsymbol {v}}_{1},{\boldsymbol {v}}_{2}\rangle$ ： ${\boldsymbol {v}}_{1}$ 與 ${\boldsymbol {v}}_{2}$ 的內積
$\mathrm {span} \{{\boldsymbol {v}}_{1},{\boldsymbol {v}}_{2},\ldots ,{\boldsymbol {v}}_{n}\}$ ： ${\boldsymbol {v}}_{1}$ 、 ${\boldsymbol {v}}_{2}$ …… ${\boldsymbol {v}}_{n}$ 張成的子空間
$\mathrm {proj} _{\boldsymbol {v}}\,{\boldsymbol {u}}={\langle {\boldsymbol {u}},{\boldsymbol {v}}\rangle \over \langle {\boldsymbol {v}},{\boldsymbol {v}}\rangle }{\boldsymbol {v}}$ ： ${\boldsymbol {u}}$ 在 ${\boldsymbol {v}}$ 上的投影

基本思想

圖1

{\boldsymbol {v}}

在

{\boldsymbol {V}}^{2}

上投影，構造

{\boldsymbol {V}}^{3}

上的正交基

{\boldsymbol {\beta }}

Gram-Schmidt正交化的基本想法，是利用投影原理在已有正交基的基礎上構造一個新的正交基。

設 ${\boldsymbol {v}}\in {\boldsymbol {V^{n}}}$ 。 ${\boldsymbol {V}}^{k}$ 是 ${\boldsymbol {V}}^{n}$ 上的 $k$ 維子空間，其標準正交基為 $\{{\boldsymbol {\eta }}_{1},\ldots ,{\boldsymbol {\eta }}_{k}\}$ ，且 ${\boldsymbol {v}}$ 不在 ${\boldsymbol {V}}^{k}$ 上。由投影原理知， ${\boldsymbol {v}}$ 與其在 ${\boldsymbol {V}}^{k}$ 上的投影 $\mathrm {proj} _{\boldsymbol {V^{k}}}{\boldsymbol {v}}$ 之差

{\boldsymbol {\beta }}={\boldsymbol {v}}-\sum _{i=1}^{k}\mathrm {proj} _{{\boldsymbol {\eta }}_{i}}\,{\boldsymbol {v}}={\boldsymbol {v}}-\sum _{i=1}^{k}\langle {\boldsymbol {v}},{\boldsymbol {\eta }}_{i}\rangle {\boldsymbol {\eta }}_{i}

是正交於子空間 ${\boldsymbol {V}}^{k}$ 的，亦即 ${\boldsymbol {\beta }}$ 正交於 ${\boldsymbol {V}}^{k}$ 的正交基 ${\boldsymbol {\eta }}_{i}$ 。因此只要將 ${\boldsymbol {\beta }}$ 單位化，即

{\boldsymbol {\eta }}_{k+1}={\frac {\boldsymbol {\beta }}{\|{\boldsymbol {\beta }}\|}}={\frac {\boldsymbol {\beta }}{\sqrt {\langle {\boldsymbol {\beta }},{\boldsymbol {\beta }}\rangle }}}

那麼 $\{{\boldsymbol {\eta }}_{1},\ldots ,{\boldsymbol {\eta }}_{k},{\boldsymbol {\eta }}_{k+1}\}$ 就是 ${\boldsymbol {V}}^{k}$ 在 ${\boldsymbol {v}}$ 上擴展的子空間 $\mathrm {span} \{{\boldsymbol {v}},{\boldsymbol {\eta }}_{1},...,{\boldsymbol {\eta }}_{k}\}$ 的標準正交基。

根據上述分析，對於向量組 $\{{\boldsymbol {v}}_{1},\ldots ,{\boldsymbol {v}}_{m}\}$ 張成的空間 ${\boldsymbol {V}}^{m}$ ( $m<n$ )，只要從其中一個向量（不妨設為 ${\boldsymbol {v}}_{1}$ ）所張成的一維子空間 $\mathrm {span} \{{\boldsymbol {v}}_{1}\}$ 開始（注意到 ${\boldsymbol {v}}_{1}$ 就是 $\mathrm {span} \{{\boldsymbol {v}}_{1}\}$ 的正交基），重複上述擴展構造正交基的過程，就能夠得到 ${\boldsymbol {V}}^{n}$ 的一組正交基。這就是Gram-Schmidt正交化。

算法

首先需要確定已有基底向量的順序，不妨設為 $\{{\boldsymbol {v}}_{1},\ldots ,{\boldsymbol {v}}_{n}\}$ 。Gram-Schmidt正交化的過程如下：

	${\boldsymbol {\beta }}_{1}={\boldsymbol {v}}_{1},$		${\boldsymbol {\eta }}_{1}={{\boldsymbol {\beta }}_{1} \over \\|{\boldsymbol {\beta }}_{1}\\|}$
	${\boldsymbol {\beta }}_{2}={\boldsymbol {v}}_{2}-\langle {\boldsymbol {v}}_{2},{\boldsymbol {\eta }}_{1}\rangle {\boldsymbol {\eta }}_{1},$		${\boldsymbol {\eta }}_{2}={{\boldsymbol {\beta }}_{2} \over \\|{\boldsymbol {\beta }}_{2}\\|}$
	${\boldsymbol {\beta }}_{3}={\boldsymbol {v}}_{3}-\langle {\boldsymbol {v}}_{3},{\boldsymbol {\eta }}_{1}\rangle {\boldsymbol {\eta }}_{1}-\langle {\boldsymbol {v}}_{3},{\boldsymbol {\eta }}_{2}\rangle {\boldsymbol {\eta }}_{2},$		${\boldsymbol {\eta }}_{3}={{\boldsymbol {\beta }}_{3} \over \\|{\boldsymbol {\beta }}_{3}\\|}$
	$\vdots$		$\vdots$
	${\boldsymbol {\beta }}_{n}={\boldsymbol {v}}_{n}-\sum _{i=1}^{n-1}\langle {\boldsymbol {v}}_{n},{\boldsymbol {\eta }}_{i}\rangle {\boldsymbol {\eta }}_{i},$		${\boldsymbol {\eta }}_{n}={{\boldsymbol {\beta }}_{n} \over \\|{\boldsymbol {\beta }}_{n}\\|}$

這樣就得到 $\mathrm {span} \{{\boldsymbol {v}}_{1},\ldots ,{\boldsymbol {v}}_{n}\}$ 上的一組正交基 $\{{\boldsymbol {\beta }}_{1},\ldots ,{\boldsymbol {\beta }}_{n}\}$ ，以及相應的標準正交基 $\{{\boldsymbol {\eta }}_{1},\ldots ,{\boldsymbol {\eta }}_{n}\}$ 。