앙상블

개념

앙상블은 여러 모델의 예측을 결합해 더 강한 예측을 만드는 방법이다. 하나의 모델보다 여러 모델을 조합하면 안정성과 성능이 좋아질 수 있다.

예시

랜덤 포레스트는 여러 의사결정트리의 예측을 투표나 평균으로 결합한다. XGBoost는 약한 트리들을 순차적으로 보완하며 강한 모델을 만든다.

회귀 앙상블의 단순 평균은 다음과 같다.

$${\hat{y}}_{\mathrm{ens}}=\frac{1}{M}\sum _{m=1}^M{\hat{y}}_m$$

의미

앙상블은 개별 모델의 약점을 줄이고 일반화 성능을 높이는 데 자주 사용된다.