Published on

수학 노트 생성, 분류 코드

Authors

소개

수학 방정식의 구문 분석 및 표시는 이 블로그 템플릿에 포함되어 있습니다. 수학 구문 분석은 remark-mathrehype-katex에 의해 가능합니다. KaTeX 및 관련 글꼴은 \_document.js에 포함되어 있으므로 모든 페이지에서 자유롭게 사용할 수 있습니다. 1

인라인 수학 기호는 $ 기호 사이에 용어를 묶어 포함할 수 있습니다.

수학 코드 블록은 '$$'로 표시됩니다.

수학 대신 '기호를사용하려는경우이스케이프처리(' 기호를 사용하려는 경우 이스케이프 처리('')하거나 HTML 엔터티('$')를 지정할 수 있습니다 2

인라인 또는 수동으로 열거된 각주도 지원됩니다. 위의 링크를 클릭하면 작동 방식을 확인할 수 있습니다.

수학 노트 생성, 분류 코드

행렬 표기법을 사용하여 nn는 관측값의 개수를 나타내고 kk는 회귀 변수의 개수를 나타냅니다.

결과 변수 mathbfYmathbf{Y}의 벡터는 ntimes1n times 1 행렬입니다.

\mathbf{Y} = \left[\begin{array}
  {c}
  y_1 \\
  . \\
  . \\
  . \\
  y_n
\end{array}\right]
Y=[y1...yn]\mathbf{Y} = \left[\begin{array} {c} y_1 \\ . \\ . \\ . \\ y_n \end{array}\right]

회귀 변수 행렬 mathbfXmathbf{X}ntimeskn times k 행렬입니다(또는 각 행은 ktimes1k times 1 벡터입니다),

\mathbf{X} = \left[\begin{array}
  {ccccc}
  x_{11} & . & . & . & x_{1k} \\
  . & . & . & . & .  \\
  . & . & . & . & .  \\
  . & . & . & . & .  \\
  x_{n1} & . & . & . & x_{nn}
\end{array}\right] =
\left[\begin{array}
  {c}
  \mathbf{x}'_1 \\
  . \\
  . \\
  . \\
  \mathbf{x}'_n
\end{array}\right]
X=[x11...x1k...............xn1...xnn]=[x1...xn]\mathbf{X} = \left[\begin{array} {ccccc} x_{11} & . & . & . & x_{1k} \\ . & . & . & . & . \\ . & . & . & . & . \\ . & . & . & . & . \\ x_{n1} & . & . & . & x_{nn} \end{array}\right] = \left[\begin{array} {c} \mathbf{x}'_1 \\ . \\ . \\ . \\ \mathbf{x}'_n \end{array}\right]

오차항 mathbfUmathbf{U}의 벡터는 times 1$$n 행렬이기도 합니다.

상황에 따라 벡터 표기법을 사용하는 것이 좋습니다. 일관성을 위해 굵고 작은 x를 사용하여 벡터를 나타내고 대문자를 사용하여 행렬을 나타냅니다. 단일 관측값은 첨자로 표시됩니다.

최소 제곱

주어진 값:
yi=xiβ+uiy_i = \mathbf{x}'_i \beta + u_i

문제 예시:

  1. Linearity (given above)
  2. E(UX)=0E(\mathbf{U}|\mathbf{X}) = 0 (conditional independence)
  3. rank(X\mathbf{X}) = kk (no multi-collinearity i.e. full rank)
  4. Var(UX)=σ2InVar(\mathbf{U}|\mathbf{X}) = \sigma^2 I_n (Homoskedascity)

정답:
Find β\beta that minimises the sum of squared errors:

Q=i=1nui2=i=1n(yixiβ)2=(YXβ)(YXβ)Q = \sum_{i=1}^{n}{u_i^2} = \sum_{i=1}^{n}{(y_i - \mathbf{x}'_i\beta)^2} = (Y-X\beta)'(Y-X\beta)

문제 정답:
Hints: QQ is a 1×11 \times 1 scalar, by symmetry bAbb=2Ab\frac{\partial b'Ab}{\partial b} = 2Ab.

Take matrix derivative w.r.t β\beta:

\begin{aligned}
  \min Q           & = \min_{\beta} \mathbf{Y}'\mathbf{Y} - 2\beta'\mathbf{X}'\mathbf{Y} +
  \beta'\mathbf{X}'\mathbf{X}\beta \\
                   & = \min_{\beta} - 2\beta'\mathbf{X}'\mathbf{Y} + \beta'\mathbf{X}'\mathbf{X}\beta \\
  \text{[FOC]}~~~0 & =  - 2\mathbf{X}'\mathbf{Y} + 2\mathbf{X}'\mathbf{X}\hat{\beta}                  \\
  \hat{\beta}      & = (\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}'\mathbf{Y}                              \\
                   & = (\sum^{n} \mathbf{x}_i \mathbf{x}'_i)^{-1} \sum^{n} \mathbf{x}_i y_i
\end{aligned}
minQ=minβYY2βXY+βXXβ=minβ2βXY+βXXβ[FOC]   0=2XY+2XXβ^β^=(XX)1XY=(nxixi)1nxiyi\begin{aligned} \min Q & = \min_{\beta} \mathbf{Y}'\mathbf{Y} - 2\beta'\mathbf{X}'\mathbf{Y} + \beta'\mathbf{X}'\mathbf{X}\beta \\ & = \min_{\beta} - 2\beta'\mathbf{X}'\mathbf{Y} + \beta'\mathbf{X}'\mathbf{X}\beta \\ \text{[FOC]}~~~0 & = - 2\mathbf{X}'\mathbf{Y} + 2\mathbf{X}'\mathbf{X}\hat{\beta} \\ \hat{\beta} & = (\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}'\mathbf{Y} \\ & = (\sum^{n} \mathbf{x}_i \mathbf{x}'_i)^{-1} \sum^{n} \mathbf{x}_i y_i \end{aligned}

Footnotes

  1. 지원되는 TeX 함수의 전체 목록은 KaTeX documentation 문서에서 찾아 보실수 있습니다.

  2. $10 and $20.