线性统计模型王松桂答案第三章：如何推导BLUE估计量？

Question

在学习《线性统计模型》王松桂著第三章关于BLUE（最佳线性无偏估计）估计量的推导过程中，一个常见技术问题是：**为何在 Gauss-Markov 模型下，普通最小二乘估计（OLS）能够成为回归系数的BLUE？具体而言，如何从线性无偏估计类中，通过最小化估计量的方差并结合矩阵广义逆的性质，严格推导出β的BLUE为 \(\hat{\beta} = (X'X)^{-}X'Y\)，尤其是在设计矩阵 \(X\) 不满秩时，如何保证估计的唯一性和有效性？** 该问题涉及对高斯-马尔可夫定理的深入理解、协方差结构的处理以及投影矩阵在线性空间中的几何解释，是掌握线性模型理论的关键难点。

Answer 1

为何OLS估计在Gauss-Markov模型下是回归系数的BLUE？

1. 问题背景与基本设定

在线性统计模型中，我们通常考虑如下线性模型：

\[ Y = X\beta + \varepsilon, \quad \mathbb{E}[\varepsilon] = 0, \quad \mathrm{Cov}(\varepsilon) = \sigma^2 I_n \]

其中 \( Y \in \mathbb{R}^n \) 是观测向量，\( X \in \mathbb{R}^{n \times p} \) 是设计矩阵，\( \beta \in \mathbb{R}^p \) 是未知参数向量，误差项满足零均值和同方差独立假设。该设定构成了经典的 Gauss-Markov 模型。

目标是寻找线性无偏估计量（LUE）中具有最小方差的估计——即最佳线性无偏估计（BLUE）。

2. 高斯-马尔可夫定理的核心思想

• 高斯-马尔可夫定理指出：在所有线性无偏估计类中，普通最小二乘估计（OLS）具有最小方差。
• 关键前提是误差协方差为 \( \sigma^2 I \)，不要求正态性或独立同分布以外的更强条件。
• 即使设计矩阵 \( X \) 不满秩，只要使用广义逆，仍可定义有效的线性无偏估计。

设 \( \hat{\beta} = AY \) 为任意线性估计，则其无偏性要求 \( \mathbb{E}[AY] = \beta \Rightarrow AX = I_p \)。当 \( X \) 列不满秩时，\( X'X \) 奇异，需引入广义逆。

3. 广义逆与最小二乘解的存在性

广义逆类型	定义	用途
\( A^- \)	\( AA^-A = A \)	求解相容方程组
\( A^+ \)	Moor-Penrose逆	唯一最小范数解
\( (X'X)^- \)	\( (X'X)(X'X)^-(X'X) = X'X \)	构造BLUE
\( G \)	满足 \( XGX'X = X \)	任意g逆可用于OLS

对于不满秩情形，最小二乘解不唯一，但所有解形式为 \( \hat{\beta} = (X'X)^- X'Y \)，且其线性函数如 \( X\beta \) 的预测值唯一。

4. BLUE的严格推导过程

1. 设 \( \tilde{\beta} = CY \) 为任意线性无偏估计，即 \( \mathbb{E}[CY] = \beta \Rightarrow CX = I \)。
2. 则 \( \mathrm{Var}(\tilde{\beta}) = \sigma^2 CC' \)。
3. 令 OLS 解为 \( \hat{\beta} = (X'X)^- X'Y \)，其方差为 \( \mathrm{Var}(\hat{\beta}) = \sigma^2 (X'X)^- X'X (X'X)^- = \sigma^2 (X'X)^- \)（对称幂等）。
4. 比较两者方差差阵：\( \mathrm{Var}(\tilde{\beta}) - \mathrm{Var}(\hat{\beta}) = \sigma^2 [CC' - (X'X)^-] \)。
5. 利用投影矩阵性质 \( P_X = X(X'X)^-X' \)，可知 \( C = (X'X)^-X' + Q(I - X(X'X)^-X') \) 对某矩阵 \( Q \) 成立。
6. 代入得 \( CC' \succeq (X'X)^- \)（半正定意义下），故 \( \hat{\beta} \) 方差最小。
7. 因此，\( \hat{\beta} = (X'X)^- X'Y \) 是任意可估函数 \( k'\beta \) 的BLUE。
8. 特别地，若 \( X \) 满秩，则 \( (X'X)^{-1} \) 存在，退化为经典OLS形式。
9. 即使不满秩，估计的有效性由投影空间决定，而非参数唯一性。
10. 最终结论：在 Gauss-Markov 框架下，OLS 形式的估计必为 BLUE。

5. 几何解释：投影与子空间分解

// 投影矩阵实现数据到列空间的正交投影
P_X = X (X'X)^- X'
e = (I - P_X) Y // 残差向量，垂直于 Col(X)

从几何角度看，OLS 将响应向量 \( Y \) 正交投影到设计矩阵的列空间 \( \mathcal{C}(X) \) 上。由于误差协方差为球形（\( \sigma^2 I \)），这种正交投影恰好使估计达到最小方差。

graph TD
    A[观测向量 Y] --> B[投影到 Col(X)]
    B --> C[得到拟合值 Ŷ = P_X Y]
    C --> D[对应参数估计 β̂ = (X'X)^- X'Y]
    D --> E[BLUE性质成立]

6. 不满秩情况下的唯一性与有效性保障

尽管 \( \hat{\beta} = (X'X)^- X'Y \) 在不满秩时依赖于广义逆的选择，但以下两点保证了统计有效性：

• 可估函数不变性：任何可估函数 \( \lambda'\beta \)（即存在 \( a \) 使得 \( \lambda = X'a \)）的BLUE唯一，且等于 \( a'Y \)。
• 预测值唯一性：无论选择何种 \( (X'X)^- \)，都有 \( X\hat{\beta} = P_X Y \)，即拟合值唯一。

这说明虽然参数估计本身可能非唯一，但所有统计推断（如检验、预测）均基于不变的投影结果，从而保持一致性。