ysk1m 님의 블로그

종속변수들 간 종속변수와 독립변수들 간의 관계에 대해 나타내는 용어이고 공부할 때 헷갈려서 정리를 하려 한다. MultiCollinearity이 경우는 종속변수들의 관계만 생각하자.종속변수 feature들 간의 상관관계가 있는 것이다. linear regression의 경우 \(\beta\)에 대해 closed form이 있는데 식이 \((X^TX)^{-1}\)으로 구성돼있다.즉 feature \(x\) 간의 correlation이 있는 경우 \(\beta\)에 대한 추정이 불안정해지는 것이다. 따라서 서로 correlation이 강한 feature가 있다면 feature를 제거하는 것이 문제를 해결하는 방법이다. Confounding EffectCofounding Effect는 \(Y\)에 영향을 주는..

Classification?Classification은 입력 \(X\)에 대해 Qualitive response를 확률적으로 예측하는 것이다.앞서 공부한 linear regression은 feature space(predictor)에서 qualitive variable을 다뤘다면 classification에서는 response space에서 qualitive variable을 다루는 것이라 할 수 있다. Classification은 단순히 정확히 맞추고 분류하는 작업으로 해석하는 것보다도 좀 더 확률적으로 접근할 필요가 있다.다음과 같은 예시를 봐보자.파란색 원이 연체를 하지 않은 것(default=no)이고 빨간 십자가 연체를 한 것(default=yes)이다.Balance(잔액)이 많을수록 더 연체를..