量，并且在两个或多个自变量之间没有精确的线性关系。3所有观测值的误差项的期望值都为0。4所有观测值的误差项具有相同的方差。5不同观测值的误差项之间相互独立，因而不相关。6误差项服从正态分布。为简化起见，我们用一个特殊的多元回归模型，即二元模型来说明问题最小二乘法就是寻找能够使残差平方和达到最小的参数估计。残差平方和定义如
下：
我们可以找到使ESS达到最小的βi、β2和β3的值。假设观测值的个数多于三个且各方程是相互独立的，βi、β2和β3的解为：
其中32回归统计量为了检验每一个回归系数的统计显著性，我们自然会问高斯马尔可夫定理是否适用于多元回归模型，我们是否可以获得方差σ2的无偏估计以及回归参数估计的分布等信息。这里我们概括地给出一些重要结论：1在多元回归模型假设15成立的条件下，高斯马尔可夫定理对多元回归模型同样适用，即各系数βj，j12k的普通最小二乘估计量是最佳线性无偏估计量当误差项服从正态分布时，普通小二乘估计量等价于极大似然估计量。2下式是σ2的一个无偏且一致的估计3当误差项服从正态分布时，可用t检验，因为对于所有的j12k换句话说，经过标准化即减去均值，除以标准差的回归参数估计服从自由度为Nk的t分布。因为我们常常会用二元回归模型做例子，我们在这里给出三个公式，前两个是各系数方差的估计，第三个是两者的协方差：
其中
，是x2和x3之间的简单相关系数。
33F检验、R2和调整的R2
2
f的方法。第二，R2对模型中自变量的个数敏感。在回归方程中加入更多的自变量不会降低R2，只有可能增加R2增加新的解释变量不会改变TSS，但是可能会增加RSS。因此，如果希望使R2增大，只要往方程中加入新的变量即可。最后，对于没有截距项的模型，R2的使用及解释就会比较困难。在这种情况下，回归平方和与总偏差平方和的比值不一定在01之间。
用R2度量拟合优度的困难在于R2只涉及Y的总变差中被解释的部分和未被解释的部分，没有考虑自由度的个数。一个自然的解决办法是使用方差，而不是偏差平方和，这样会消除拟合优度对模型中自变量个数的依赖性已知方差等于偏差平方和除以自由度个数。我们定义调整的R2如下：假设的理由。与0没有显著差别的F统计量使我们得出的结论是，解释变量不能解释F与其均值之间的偏差平方和。例如在一元模型中，F统计量检验的是回归直线是否是水平的。如果回归直线是水平的，则R20且回归模型不能解释因变量的偏差平方r