<중회귀분석> 2. 중회귀분석 추정계수의 Properties

앞 포스팅에서, 

$$\hat{B} = (X'X)^{-1}X'Y$$ 임을 보였다.

 

이제, B_hat의 성질에 대하여 탐구해보자.

우리가 사실 궁금한 것은, B_hat을 True B의 추정량으로 쓸 만 한가? 그리고 그 분산은 어떻게 되는가? 이다.

 

따라서, 우리가 알아볼 properties 들은 다음과 같다.

1. B_hat이 unbiased estimator인가?

2. B_hat의 분산은 어떻게 되는가?

 

차례로 알아보자.

 

1. B_hat이 unbiased estimator인가?

 

$$E(\hat{B})  = E((X'X)^{-1}X'Y) = E((X'X)^{-1}X'(XB + \varepsilon))$$

$$= E((X'X)^{-1}X'XB) + E((X'X)^{-1}X'\varepsilon) = B$$

 

 B_hat은 B의 unbiased estimator이다.

 

 

2. B_hat의 분산은?

 

$$Var(\hat{B}) = Var((X'X)^{-1}X'Y) = (X'X)^{-1}X'Var(Y)X(X'X)^{-1}$$

두번째 등호에서

- 전치행렬과 원행렬의 곱은 대칭행렬

- 대칭행렬의 역행렬읜 대칭행렬

이라는 행렬대수학 성질이 사용되었다.

 

위의 풀이를 이어하면

$$(X'X)^{-1}X'Var(Y)X(X'X)^{-1} = \sigma^2I(X'X)^{-1}$$

 

만약 X'X의 역행렬을 C라고 두면,

 

n번째 회귀계수 Bn_hat의 분산은 

$$Var(\hat{B_n}) = \sigma^2Cjj$$ 가 된다.

이 결과는 나중에 회귀계수 검정을 할 때 사용될 것이다.