Model Selection Guide — ML 모델 선택 매트릭스 가이드
문제 유형, 데이터 특성, 제약 조건에 따른 최적 모델 선택과 튜닝 전략.
문제 유형별 모델 추천
정형 데이터 (Tabular)
| 문제 유형 |
베이스라인 |
최적 후보 |
비고 |
| 이진 분류 |
LogisticRegression |
XGBoost, LightGBM |
트리 기반 대부분 최적 |
| 다중 분류 |
LogisticRegression(OVR) |
LightGBM, CatBoost |
CatBoost: 범주형 다수 |
| 회귀 |
LinearRegression |
XGBoost, LightGBM |
랜덤포레스트: 과적합 방지 |
| 순위 |
— |
LambdaMART (LightGBM) |
검색/추천 |
| 이상 탐지 |
IsolationForest |
AutoEncoder, LOF |
비지도/준지도 |
| 시계열 |
ARIMA |
Prophet, LightGBM |
피처 기반 시계열은 트리 |
비정형 데이터
| 데이터 |
모델 |
프레임워크 |
| 이미지 |
ResNet, EfficientNet, ViT |
PyTorch, timm |
| 텍스트 |
BERT, RoBERTa |
HuggingFace Transformers |
| 음성 |
Whisper, Wav2Vec |
HuggingFace |
| 그래프 |
GCN, GAT |
PyG, DGL |
XGBoost vs LightGBM vs CatBoost
| 기준 |
XGBoost |
LightGBM |
CatBoost |
| 속도 |
중간 |
빠름 |
느림 |
| 메모리 |
많음 |
적음 |
중간 |
| 범주형 처리 |
인코딩 필요 |
내장 지원 |
최고 성능 |
| 결측치 처리 |
내장 |
내장 |
내장 |
| 과적합 방지 |
regularization |
GOSS, EFB |
Ordered Boosting |
| GPU 지원 |
✅ |
✅ |
✅ |
| 기본 추천 |
범용 |
대용량, 속도 중시 |
범주형 다수 |
하이퍼파라미터 튜닝
Optuna 기본 구조
import optuna
def objective(trial):
params = {
'n_estimators': trial.suggest_int('n_estimators', 100, 1000),
'max_depth': trial.suggest_int('max_depth', 3, 10),
'learning_rate': trial.suggest_float('learning_rate', 0.01, 0.3, log=True),
'subsample': trial.suggest_float('subsample', 0.6, 1.0),
'colsample_bytree': trial.suggest_float('colsample_bytree', 0.6, 1.0),
'reg_alpha': trial.suggest_float('reg_alpha', 1e-8, 10.0, log=True),
'reg_lambda': trial.suggest_float('reg_lambda', 1e-8, 10.0, log=True),
}
model = XGBClassifier(**params)
score = cross_val_score(model, X, y, cv=5, scoring='f1').mean()
return score
study = optuna.create_study(direction='maximize')
study.optimize(objective, n_trials=100)
튜닝 우선순위
LightGBM 튜닝 순서:
1단계 (영향 大): learning_rate, n_estimators, num_leaves
2단계 (영향 中): max_depth, min_child_samples, subsample
3단계 (영향 小): reg_alpha, reg_lambda, colsample_bytree
4단계 (미세 조정): min_split_gain, path_smooth
교차 검증 전략
| 전략 |
적합 |
코드 |
| K-Fold |
범용 (충분한 데이터) |
KFold(n_splits=5) |
| Stratified K-Fold |
불균형 분류 |
StratifiedKFold(n_splits=5) |
| Time Series Split |
시계열 |
TimeSeriesSplit(n_splits=5) |
| Group K-Fold |
그룹 데이터 누수 방지 |
GroupKFold(n_splits=5) |
| Repeated K-Fold |
더 안정적 추정 |
RepeatedKFold(n_splits=5, n_repeats=3) |
앙상블 방법
Stacking
from sklearn.ensemble import StackingClassifier
estimators = [
('xgb', XGBClassifier()),
('lgbm', LGBMClassifier()),
('cat', CatBoostClassifier(verbose=0)),
]
stack = StackingClassifier(
estimators=estimators,
final_estimator=LogisticRegression(),
cv=5
)
Blending 가중치
# 최적 가중치 탐색
from scipy.optimize import minimize
def objective(weights):
pred = sum(w * p for w, p in zip(weights, predictions))
return -f1_score(y_true, pred > 0.5)
result = minimize(objective, x0=[1/3]*3, constraints={'type': 'eq', 'fun': lambda w: sum(w)-1})
모델 선택 의사결정 트리
데이터 유형?
├── 정형 (테이블)
│ ├── 행 수 < 1000 → 로지스틱 회귀 / SVM
│ ├── 1000 < 행 수 < 100만 → XGBoost / LightGBM
│ └── 행 수 > 100만 → LightGBM (속도 우선)
├── 이미지 → CNN (EfficientNet, ViT)
├── 텍스트 → Transformer (BERT)
└── 시계열
├── 단변량 → Prophet / ARIMA
└── 다변량 → LightGBM (피처 기반) / LSTM
1---2name: model-selection-guide-23description: ML 문제 유형별 모델 선택 매트릭스, 하이퍼파라미터 튜닝 전략, 앙상블 방법론 가이드. '모델 선택', '알고리즘 비교', '하이퍼파라미터 튜닝', 'Optuna', '앙상블', 'XGBoost vs LightGBM', '모델 비교', '교차 검증' 등 ML 모델 선택 및 설계 시 이 스킬을 사용한다. model-designer와 evaluation-analyst의 모델 설계 역량을 강화한다. 단, 데이터 전처리나 학습 인프라 관리는 이 스킬의 범위가 아니다.4---56# Model Selection Guide — ML 모델 선택 매트릭스 가이드78문제 유형, 데이터 특성, 제약 조건에 따른 최적 모델 선택과 튜닝 전략.910## 문제 유형별 모델 추천1112### 정형 데이터 (Tabular)1314| 문제 유형 | 베이스라인 | 최적 후보 | 비고 |15|----------|----------|----------|------|16| 이진 분류 | LogisticRegression | XGBoost, LightGBM | 트리 기반 대부분 최적 |17| 다중 분류 | LogisticRegression(OVR) | LightGBM, CatBoost | CatBoost: 범주형 다수 |18| 회귀 | LinearRegression | XGBoost, LightGBM | 랜덤포레스트: 과적합 방지 |19| 순위 | — | LambdaMART (LightGBM) | 검색/추천 |20| 이상 탐지 | IsolationForest | AutoEncoder, LOF | 비지도/준지도 |21| 시계열 | ARIMA | Prophet, LightGBM | 피처 기반 시계열은 트리 |2223### 비정형 데이터2425| 데이터 | 모델 | 프레임워크 |26|--------|------|-----------|27| 이미지 | ResNet, EfficientNet, ViT | PyTorch, timm |28| 텍스트 | BERT, RoBERTa | HuggingFace Transformers |29| 음성 | Whisper, Wav2Vec | HuggingFace |30| 그래프 | GCN, GAT | PyG, DGL |3132## XGBoost vs LightGBM vs CatBoost3334| 기준 | XGBoost | LightGBM | CatBoost |35|------|---------|----------|----------|36| 속도 | 중간 | 빠름 | 느림 |37| 메모리 | 많음 | 적음 | 중간 |38| 범주형 처리 | 인코딩 필요 | 내장 지원 | 최고 성능 |39| 결측치 처리 | 내장 | 내장 | 내장 |40| 과적합 방지 | regularization | GOSS, EFB | Ordered Boosting |41| GPU 지원 | ✅ | ✅ | ✅ |42| 기본 추천 | 범용 | 대용량, 속도 중시 | 범주형 다수 |4344## 하이퍼파라미터 튜닝4546### Optuna 기본 구조4748```python49import optuna5051def objective(trial):52 params = {53 'n_estimators': trial.suggest_int('n_estimators', 100, 1000),54 'max_depth': trial.suggest_int('max_depth', 3, 10),55 'learning_rate': trial.suggest_float('learning_rate', 0.01, 0.3, log=True),56 'subsample': trial.suggest_float('subsample', 0.6, 1.0),57 'colsample_bytree': trial.suggest_float('colsample_bytree', 0.6, 1.0),58 'reg_alpha': trial.suggest_float('reg_alpha', 1e-8, 10.0, log=True),59 'reg_lambda': trial.suggest_float('reg_lambda', 1e-8, 10.0, log=True),60 }61 model = XGBClassifier(**params)62 score = cross_val_score(model, X, y, cv=5, scoring='f1').mean()63 return score6465study = optuna.create_study(direction='maximize')66study.optimize(objective, n_trials=100)67```6869### 튜닝 우선순위7071```72LightGBM 튜닝 순서:731단계 (영향 大): learning_rate, n_estimators, num_leaves742단계 (영향 中): max_depth, min_child_samples, subsample753단계 (영향 小): reg_alpha, reg_lambda, colsample_bytree764단계 (미세 조정): min_split_gain, path_smooth77```7879## 교차 검증 전략8081| 전략 | 적합 | 코드 |82|------|------|------|83| K-Fold | 범용 (충분한 데이터) | `KFold(n_splits=5)` |84| Stratified K-Fold | 불균형 분류 | `StratifiedKFold(n_splits=5)` |85| Time Series Split | 시계열 | `TimeSeriesSplit(n_splits=5)` |86| Group K-Fold | 그룹 데이터 누수 방지 | `GroupKFold(n_splits=5)` |87| Repeated K-Fold | 더 안정적 추정 | `RepeatedKFold(n_splits=5, n_repeats=3)` |8889## 앙상블 방법9091### Stacking9293```python94from sklearn.ensemble import StackingClassifier9596estimators = [97 ('xgb', XGBClassifier()),98 ('lgbm', LGBMClassifier()),99 ('cat', CatBoostClassifier(verbose=0)),100]101stack = StackingClassifier(102 estimators=estimators,103 final_estimator=LogisticRegression(),104 cv=5105)106```107108### Blending 가중치109110```python111# 최적 가중치 탐색112from scipy.optimize import minimize113114def objective(weights):115 pred = sum(w * p for w, p in zip(weights, predictions))116 return -f1_score(y_true, pred > 0.5)117118result = minimize(objective, x0=[1/3]*3, constraints={'type': 'eq', 'fun': lambda w: sum(w)-1})119```120121## 모델 선택 의사결정 트리122123```124데이터 유형?125├── 정형 (테이블)126│ ├── 행 수 < 1000 → 로지스틱 회귀 / SVM127│ ├── 1000 < 행 수 < 100만 → XGBoost / LightGBM128│ └── 행 수 > 100만 → LightGBM (속도 우선)129├── 이미지 → CNN (EfficientNet, ViT)130├── 텍스트 → Transformer (BERT)131└── 시계열132 ├── 단변량 → Prophet / ARIMA133 └── 다변량 → LightGBM (피처 기반) / LSTM134```