ysk1m 님의 블로그

linear regression부터 k-fold validation에 대해 실제 예제(code 구현)를 공부하다가 기억하면 좋을 것 같은 내용에 대해 정리.Linear regression_bias항을 모델에 포함시키기Scalar가 아니라 Matrix form일 때, bias를 따로 처리하면 귀찮아지므로, 모든 샘플의 입력 앞에 1을 붙여서 절편도 가중치 취급을 한다.X = np.hstack((np.ones((X.shape[0], 1)), X))X.shape[0] 즉 row방향으로 1로 채워진 배열을 X앞에 stack 한다.X =[[x11, x12], [x21, x22]]↓ hstack with ones[[1, x11, x12], [1, x21, x22]]Linear regression_data split..

Linear Regression의 모든 것 1에서는 scalar의 형태로 아주 기초적인 부분을 공부했다면 이번글은 Linear Regression에 대해 더 자세하게 공부한 내용이다. linear regression에서 우리가 구해야 할 것은 coefficient의 추정치인데, 이는 RSS가 최솟값이 되게 하는 값이다.scalar form이 아닌 벡터 form으로 보면 다음과 같다.$$ \mathrm{RSS} \;=\; (y - X\beta)^\top (y - X\beta) \;=\; y^\top y \;-\; \beta^\top X^\top y \;-\; y^\top X \beta \;+\; \beta^\top X^\top X \beta $$이후 \(\beta^\top\)에 대하여 미분하고 \(\bet..

교수님이 머신러닝의 중요성을 강조하시려고 이 이미지를 사용하신 게 재밌어서 가져왔다.What is Statistical Machine Learning?통계학의 원리와 기계 학습 알고리즘을 결합하여 데이터를 이해하고 예측 모델을 구축하는 것이다.일반적으로 입력 변수 \(X\)와 출력 변수 \(Y\) 사이의 관계를 \(Y=f(X)+\epsilon\)와 같이 모델링하는 것이다. 여기서 \(\epsilon\)은 측정 시 발생하는 오차고 \(X\)와 독립이다.입력 변수 \(X\)와 \(Y\) 사이의 관계를 잘 모델링하면 새로운 입력 변수 \(X\)에 대해 예측을 할 수 있다. 그럼 이상적인 \(f(X)\)를 만들 수 있을까?예를 들어 다음과 같은 그래프가 있다고 하자\(X=\) 4에서 좋은 \(f(X)\) 값은 ..