ysk1m 님의 블로그

  • 홈
  • 태그
  • 방명록

2025/04/05 1

[Machine learning] How to select optimal model(feature selection, one-standard-error rule)

모델의 feature의 개수가 증가하면 Accuracy가 높아진다.그러나 모델이 복잡해지므로 interpretability가 낮아지고 coefficient의 분산이 커지므로 새로운 값에 대해 예측이 불안정하다. 이런 점 때문에 단순히 feature의 개수만 늘려서 모델의 성능이 좋아진다고 판단하면 안된다. feature를 어떻게 고를 것이며 몇개를 골라야할지에 대해 공부해보도록 하겠다. Best Subset Selection모든 조합을 전부 살펴보는 것이다.1단계: Null Model(\(\mathcal{M}_0\)) 설정아무 predictor도 포함하지 않은 모델로 모든 관측값에 대해 평균값으로 예측하는 모델이다.2단계:feature 개수별 후보 모델 탐색변수가 \(p\)개있고 그 중 \(k\)개에 대..

Machine learning & Deep learning 2025.04.05
이전
1
다음
더보기
프로필사진

ysk1m 님의 블로그

ysk1m 님의 블로그 입니다.

  • 분류 전체보기 (51)
    • Paper review (4)
    • Leet code test (1)
    • Machine learning & Deep lea.. (24)
    • Math (0)
    • 자료구조 및 알고리즘 (0)
    • Computing (18)
    • Diffusion (4)

Tag

C++, Structured Prediction, AI, Overfitting, Generative Model, 뉴립스, 딥러닝, k-Fold, NeurIPS, Machine Learning, 머신러닝, Ridge regression, 트랜스포머, confounding effect, Linear Regression, Multimodal, sql, contrastive learning, transformer, 인공지능,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2025/04   »
일 월 화 수 목 금 토
1 2 3 4 5
6 7 8 9 10 11 12
13 14 15 16 17 18 19
20 21 22 23 24 25 26
27 28 29 30

방문자수Total

  • Today :
  • Yesterday :

Copyright © Kakao Corp. All rights reserved.

티스토리툴바