赤池信息量準則

赤池信息量準則（英語：Akaike information criterion，簡稱AIC）是評估統計模型的複雜度和衡量統計模型「擬合」資料之優良性（英語：Goodness of Fit，白話：合身的程度）的一種標準，是由日本統計學家赤池弘次創立和發展的。赤池信息量準則建立在信息熵的概念基礎上。

AIC

在一般的情況下，AIC可以表示為：

AIC=2k-2\ln(L)\,

其中：K是參數的數量，L是似然函數。

假設條件是模型的誤差服從獨立正態分布。

讓n為觀察數，RSS為殘差平方和，那麼AIC變為：

AIC=2k+n\ln(RSS/n)\,

增加自由參數的數目提高了擬合的優良性，AIC鼓勵數據擬合的優良性但是儘量避免出現過度擬合（Overfitting）的情況。

所以優先考慮的模型應是AIC值最小的那一個。赤池信息量準則的方法是尋找可以最好地解釋數據但包含最少自由參數的模型。

AICc和AICu

在樣本少的情況下，AIC轉變為AICc（改正的赤池信息量準則）：

AICc=AIC+{\frac {2k(k+1)}{n-k-1}}\,

當n增加時，AICc收斂成AIC。所以AICc可以應用在任何樣本大小的情況下（Burnham and Anderson, 2004）。

McQuarrie 和 Tsai（1998: 22）把AICc定義為：

AICc=\ln {\frac {RSS}{n}}+{\frac {n+k}{n-k-2}}\ ,

他們提出的另一個緊密相關指標為AICu：

AICu=\ln {\frac {RSS}{n-k}}+{\frac {n+k}{n-k-2}}\ .

QAIC

QAIC（Quasi-AIC）可以定義為：

QAIC=2k-{\frac {1}{c}}2\ln {L}\,

其中：c是方差膨脹因素。因此QAIC可以調整過度離散（或者缺乏擬合）。

在小樣本情況下, QAIC表示為：

QAICc=QAIC+{\frac {2k(k+1)}{n-k-1}}\,

.

參考文獻

Akaike, Hirotsugu. A new look at the statistical model identification. IEEE Transactions on Automatic Control. 1974, 19 (6): 716–723.
Burnham, K. P., and D. R. Anderson, 2002. Model Selection and Multimodel Inference: A Practical-Theoretic Approach, 2nd ed. Springer-Verlag. ISBN 0-387-95364-7.
--------, 2004. Multimodel Inference: understanding AIC and BIC in Model Selection （頁面存檔備份，存於網際網路檔案館）, Amsterdam Workshop on Model Selection.
Hurvich, C. M., and Tsai, C.-L., 1989. Regression and time series model selection in small samples. Biometrika, Vol 76. pp. 297-307
McQuarrie, A. D. R., and Tsai, C.-L., 1998. Regression and Time Series Model Selection. World Scientific.

另見

外部連結

赤池弘次談論AIC （頁面存檔備份，存於網際網路檔案館）