发表于

推导OLS估计量

Authors

简介

本博客模板包含数学公式的解析和显示功能。数学公式的解析由 remark-mathrehype-katex 实现。 KaTeX 及其相关字体已包含在 _document.js 中,因此您可以在任何页面上自由使用。 1

行内数学符号可以通过将术语包含在 $ 符号之间来实现。

数学代码块用 $$ 表示。

如果您打算使用 $ 符号而不是数学公式,可以对其进行转义(\$),或指定 HTML 实体($2

行内或手动编号的脚注也受支持。点击上面的链接查看实际效果。

推导OLS估计量

使用矩阵符号,令 nn 表示观测值数量,kk 表示回归变量数量。

结果变量向量 Y\mathbf{Y} 是一个 n×1n \times 1 矩阵,

Y=[y1...yn]\mathbf{Y} = \left[\begin{array} {c} y_1 \\ . \\ . \\ . \\ y_n \end{array}\right]

回归变量矩阵 X\mathbf{X} 是一个 n×kn \times k 矩阵(或者说每一行是一个 k×1k \times 1 向量),

X=[x11...x1k...............xn1...xnn]=[x1...xn]\mathbf{X} = \left[\begin{array} {ccccc} x_{11} & . & . & . & x_{1k} \\ . & . & . & . & . \\ . & . & . & . & . \\ . & . & . & . & . \\ x_{n1} & . & . & . & x_{nn} \end{array}\right] = \left[\begin{array} {c} \mathbf{x}'_1 \\ . \\ . \\ . \\ \mathbf{x}'_n \end{array}\right]

误差项向量 U\mathbf{U} 也是一个 n×1n \times 1 矩阵。

有时使用向量符号可能更容易。为了保持一致性,我将使用粗体小写 x 表示向量,使用大写字母表示矩阵。单个观测值用下标表示。

最小二乘法

起点
yi=xiβ+uiy_i = \mathbf{x}'_i \beta + u_i

假设

  1. 线性性(如上所述)
  2. E(UX)=0E(\mathbf{U}|\mathbf{X}) = 0(条件独立性)
  3. rank(X)=k\text{rank}(\mathbf{X}) = k(无多重共线性,即满秩)
  4. Var(UX)=σ2InVar(\mathbf{U}|\mathbf{X}) = \sigma^2 I_n(同方差性)

目标
找到最小化平方误差之和的 β\beta

Q=i=1nui2=i=1n(yixiβ)2=(YXβ)(YXβ)Q = \sum_{i=1}^{n}{u_i^2} = \sum_{i=1}^{n}{(y_i - \mathbf{x}'_i\beta)^2} = (Y-X\beta)'(Y-X\beta)

求解
提示:QQ 是一个 1×11 \times 1 标量,根据对称性 bAbb=2Ab\frac{\partial b'Ab}{\partial b} = 2Ab

β\beta 取矩阵导数:

minQ=minβYY2βXY+βXXβ=minβ2βXY+βXXβ[一阶条件]   0=2XY+2XXβ^β^=(XX)1XY=(nxixi)1nxiyi\begin{aligned} \min Q & = \min_{\beta} \mathbf{Y}'\mathbf{Y} - 2\beta'\mathbf{X}'\mathbf{Y} + \beta'\mathbf{X}'\mathbf{X}\beta \\ & = \min_{\beta} - 2\beta'\mathbf{X}'\mathbf{Y} + \beta'\mathbf{X}'\mathbf{X}\beta \\ \text{[一阶条件]}~~~0 & = - 2\mathbf{X}'\mathbf{Y} + 2\mathbf{X}'\mathbf{X}\hat{\beta} \\ \hat{\beta} & = (\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}'\mathbf{Y} \\ & = (\sum^{n} \mathbf{x}_i \mathbf{x}'_i)^{-1} \sum^{n} \mathbf{x}_i y_i \end{aligned}

Footnotes

  1. 有关支持的 TeX 函数完整列表,请查看 KaTeX 文档

  2. $10 和 $20。