用戶:Ycc69/普通最小二乘法

普通最小二乘法(英語:Ordinary least squares,簡稱:OLS)是回歸分析中最常用的回歸方法之一,屬於線性最小二乘法。其基本思想是令解釋變量(因變量)的估計值儘可能接近實際值,即殘差平方和(residual sum of squares;RSS)最小。

根據高斯-馬爾科夫定理,在給定經典線性回歸的假定下,最小二乘估計量是具有最小方差的線性無偏估計量。

線性模型

代數形式

假設有一組樣本 ,由 個觀測值組成,其中 為被解釋變量,  個解釋變量(自變量)向量。其線性回歸模型可表示為:

 

其中 為殘差項,假設被解釋變量的估計值 。則應有:

 

矩陣形式

記:

 

得到線性回歸模型的矩陣形式: