廣義線性模型

在統計學上，廣義線性模型（英語：generalized linear model，縮寫作 GLM）是一種應用靈活的線性迴歸模型。該模型允許應變量的偏差分佈有除了正態分佈之外的其它分佈。此模型假設實驗者所量測的隨機變量的分佈函數與實驗中系統性效應（即非隨機的效應）可經由一鏈結函數（link function）建立可解釋其相關性的函數。

約翰·內爾德與彼得·麥古拉在1989年出版，被視為廣義線性模式的代表性文獻中提綱挈領地說明了廣義線性模式的原理、計算（如最大似然估計量）及其實務應用。

概說

廣義線性模型是普通最小平方法（OLS）的擴展，在廣義線性模式中，假設每個資料的觀測值$\mathbf {Y}$來自某個指數族分佈。 該分佈的平均數 ${\boldsymbol {\mu }}$ 可由與該點獨立的X解釋：

$\operatorname {E} ({\boldsymbol {y}})={\boldsymbol {\mu }}=g^{-1}(\mathbf {X} {\boldsymbol {\beta }})$

其中$E({\boldsymbol {y}})$為${\boldsymbol {y}}$的期望值，$\mathbf {X} {\boldsymbol {\beta }}$是由未知待估計參數${\boldsymbol {\beta }}$與已知變數$\mathbf {X}$構成的線性估計式，$g$則為鏈結函數。

在此模式下，${\boldsymbol {y}}$的方差$V$可表示為：

$\operatorname {Var} ({\boldsymbol {y}})=\operatorname {V} ({\boldsymbol {\mu }})=\operatorname {V} (g^{-1}(\mathbf {X} {\boldsymbol {\beta }})).$

一般假設$V$可視為一指數族隨機變量的函數。

未知參數${\boldsymbol {\beta }}$通常會以最大似然估計量, 殆最大似然估計量, 或以貝氏方法來估計。

模式組成

廣義線性模式包含了以下主要部份：

1. 來自指數族的分佈函數$f$。
2. 線性預測子 ${\boldsymbol {\eta }}=\mathbf {X} {\boldsymbol {\beta }}$。
3. 鏈結函數$g$使得 $E(Y\mid X)={\boldsymbol {\mu }}=g^{-1}({\boldsymbol {\eta }})$。

指數族

指數族隨機變量意指其具參數θ與τ的概率密度函數, f (在論離散型隨機變量時，則為概率質量函數)可表為：

$f_{Y}(y;\theta ,\tau )=\exp {\left({\frac {a(y)b(\theta )+c(\theta )}{h(\tau )}}+d(y,\tau )\right)}.\,\!$

τ稱之為變異參數，通常用以解釋方差。函數a、b、c、d 及h為已知。許多（不包含全部）型態的隨機變量可歸類為指數族

θ與該隨機變量的期望值有關。若a為恆等函數，則稱該分佈屬於 正則型式。 另外，若b為恆等而τ已知，則θ稱為正則參數，其與期望值的關係可表為：

$\mu =\operatorname {E} (Y)=-c'(\theta ).\,\!$

一般情形下，該分佈的方差可表為：

$\operatorname {Var} (Y)=-c''(\theta )h(\tau ).\,\!$

線性預測子

線性預測子是用將獨立變數經由線性組合來尋模式所能提供之資訊的計量變數。符號η (希臘字母 "Η")通常用來表示線性預測子。它與資料的期望值的鏈結函數值有關(故稱"預測子")。

η表為未知參數β的線性組合(故為"線性")。X則為獨立變數所組合而成的觀測矩陣。如此一來，η可表示為

$\eta =\mathbf {X} {\boldsymbol {\beta }}.\,$

X的元素通常為模式設計時可觀測的資料或為實驗時所得的數據。

鏈結函數

鏈結函數解釋了線性預測子與分佈期望值的關係。鏈結函數的選擇可視情形而定。通常只要符合鏈結函數的值域有包含分佈期望值的條件即可。

當使用具正則參數θ的分佈時，鏈結函數需符合X^TY 為β的充份統計量此一條件。這在θ與線性預測子的鏈結函數值相等時方成立。下面列出若干指數族分佈的典型鏈結函數及其反函數(有時稱為均值函數)：

典型鏈結函數

Y的分佈	名稱	鏈結函數	均值函數
正態	恆等	$\mathbf {X} {\boldsymbol {\beta }}=\mu \,\!$	$\mu =\mathbf {X} {\boldsymbol {\beta }}\,\!$
指數	倒數	$\mathbf {X} {\boldsymbol {\beta }}=\mu ^{-1}\,\!$	$\mu =(\mathbf {X} {\boldsymbol {\beta }})^{-1}\,\!$
Gamma
逆高斯	二次倒數	$\mathbf {X} {\boldsymbol {\beta }}=\mu ^{-2}\,\!$	$\mu =(\mathbf {X} {\boldsymbol {\beta }})^{-1/2}\,\!$
泊松	自然對數	$\mathbf {X} {\boldsymbol {\beta }}=\ln {(\mu )}\,\!$	$\mu =\exp {(\mathbf {X} {\boldsymbol {\beta }})}\,\!$
二項式	Logit	$\mathbf {X} {\boldsymbol {\beta }}=\ln {\left({\frac {\mu }{1-\mu }}\right)}\,\!$	$\mu ={\frac {\exp {(\mathbf {X} {\boldsymbol {\beta }})}}{1+\exp {(\mathbf {X} {\boldsymbol {\beta }})}}}\,\!$
多項式

在指數分佈與Gamma分佈中，其典型鏈結函數的值域並不包含分佈均值，另外其線性預測子亦可能出現負值，此兩種分佈絕無均值為負的可能。當進行極大似然估計進行計算時需避免上述情形出現，這時便需要使用到非典型鏈結函數。

例子

一般線性模式

有些人可能會把一般線性模式和廣義線性模式給弄混了。一般線性模式可視為廣義線性模式的一個鏈結函數為恆等的特例。一般線性模式有着悠長的發展歷史。廣義線性模式具非恆等鏈結函數者有着漸近一致的結果。

線性迴歸

廣義線性模式最簡單的例子便是線性迴歸。此例中分佈函數為正態分佈而鏈結函數為恆等函數在方差已知的條件下並符合正規式。 這個例子具有廣義線性模式罕有的極大似然估計的解析解

二元數據

在討論二元反應結果（如有跟沒有）時，通常以二項式分佈建模。其期望值'μ_i通常解釋為樣本Y_i發生事件的概率p

二項式分佈有許多常用的鏈結函數，最常用的鏈結函數是logit：

$g(p)=\ln \left({p \over 1-p}\right).$

以此建模的廣義線性模式通常稱為logistic迴歸模式。

另外，任何連續型概率分配累積函數（CDF）的反函數皆可使用此模式，因為其值域為[0,1]，包含了二項式分佈期望值的可能值域。正態概率分配累積函數$\Phi$是一個廣受應用於probit模式的選擇。其鏈結函數為

$g(p)=\Phi ^{-1}(p).\,\!$

有時恆等函數也會被用為二項式分佈的鏈結函數，其缺點為預測值可能超出合理範圍。經過若干修正可以避免上述問題，但會在解釋上造成困難。此模式通常適用於p接近0.5的情形。 此種建模很接近logit及probit的線性轉換，有時計量經濟學家會稱其為Harvard模式。

二元資料的廣義線性模式變異函數可寫為

$\operatorname {Var} (Y_{i})=\tau \mu _{i}(1-\mu _{i})\,\!$

其中變異參數$\tau$通常等於1，若非，則該模式稱為溢變異或殆二元。

計次資料

另一個常用的例子為用於計次的泊松分佈。此例的鏈結函數為自然對數，為正規鏈結。 方差函數與均值成等比

$\operatorname {var} (Y_{i})=\tau \mu _{i},\,$

其中變異參數$\tau$通常為1。 若非，此模式通常稱為溢變異或似泊松。

參考文獻

• Hastie, T. J.; Tibshirani, R. J. Generalized Additive Models. Chapman & Hall/CRC. 1990. ISBN 978-0-412-34390-2. 
• Madsen, Henrik; Thyregod, Poul. Introduction to General and Generalized Linear Models. Chapman & Hall/CRC. 2011. ISBN 978-1-4200-9155-7. 
• McCullagh, Peter; Nelder, John. Generalized Linear Models, Second Edition. Boca Raton: Chapman and Hall/CRC. 1989. ISBN 0-412-31760-5. 
• Wood, Simon. Generalized Additive Models: An Introduction with R. Chapman & Hall/CRC. 2006. ISBN 1-58488-474-6. 

延伸閱讀

• McCullagh, Peter; John Nelder. Generalized Linear Models. London: Chapman and Hall. 1989. ISBN 0-412-31760-5. 
• Dobson, A.J. Introduction to Generalized Linear Models, Second Edition. London: Chapman and Hall/CRC. 2001. 
• Hardin, James; Joseph Hilbe. Generalized Linear Models and Extensions. College Station: Stata Press. 2001, 2007.