普通最小二乘法

线性回归模型中未知参数的估计方法

回归分析当中,最常用的估计回归系数)的方法是普通最小二乘法(英语:ordinary least squares,简称OLS),它基于误差值之上。用这种方法估计,首先要计算残差平方和residual sum of squares;RSS),RSS是指将所有误差值平方加起来得出的数:

的数值可以用以下算式计算出来:

当中的平均值,而的平均值。

假设总体的误差值有一个固定的方差,这个方差可以用以下算式估计:

这个数就是均方误差(mean square error),这个分母是样本大小减去模型要估计的参数的量。这个回归模型当中有两个未知的参数()。[1]

而这些参数估计的标准误差(standard error)为:

有了上面这个模型,研究者手上就有会有的估计值,就可以用这个算式来预测的数值。

参见

参考资料

  1. ^ Steel, R.G.D, and Torrie, J. H., Principles and Procedures of Statistics with Special Reference to the Biological Sciences., McGraw Hill, 1960, page 288.