<중회귀분석> 회귀계수 찾기

중회귀모형에서

 

$$ Y_i = B_0 + B_1X_1 + .... + \varepsilon $$

인데, 

 

Simple regression에서 LSE estimator를 구하는 방식과 같이

우리는 잔차 e의 제곱합이 최소가 되게 하는 B를 구하면 된다.

 

이를 행렬로 표시하면

 

$$ \sum e^2 = (Y - X\hat{B})'(Y - X\hat{B}) $$.

여기서, Y는 y값들의 행벡터, B_hat은 추정 parameters 의 행벡터이다.

 

이제 위 값을 B_hat에 대해 미분하면, 

 

$$ X'X\hat{B} = X'Y $$ 라는 중회귀분석에서의 normal equation을 얻게 된다.

이때, 이 방정식을 만족시키는 점이 최저점임은 구해진 normal equation을 사용하면 얻을 수 있다.

 

이 때 만약 행렬 X'X가 역행렬을 가진다면,

$$ \hat{B} = (X'X)^-1X'Y $$ 라고 쓸 수 있다.

 

그런데, X'X의 rank는 X와 같고,

앞의 Assumption에서 X의 각 parameter 간의 집합은 서로 linearly independent라 했으므로,

우리는 위와같이 쓸 수 있다.