XGBoost

개념

XGBoost는 의사결정트리 기반의 강력한 부스팅 알고리즘이다. 여러 약한 트리를 순차적으로 학습시키며 이전 모델이 틀린 부분을 보완한다.

각 단계에서 새 트리를 기존 예측에 더한다.

$${\hat{y}}_i^{(t)}={\hat{y}}_i^{(t-1)}+\eta f_t({\mathbf{x}}_i)$$

전체 목적함수는 예측 손실과 트리 복잡도 규제를 함께 고려한다.

$${\mathcal{L}}^{(t)}=\sum _i\ell \left(y_i,{\hat{y}}_i^{(t)}\right)+\sum _{k=1}^t\Omega (f_k)$$

의사결정트리와의 관계

의사결정트리 하나는 해석하기 쉽지만 과적합되기 쉽고 성능이 제한될 수 있다. XGBoost는 여러 트리를 조합해 더 높은 예측 성능을 목표로 한다.

활용

분류, 회귀, 예측 문제에 널리 쓰인다. 주가 예측, 고객 이탈 예측, 신용 위험 분류처럼 표 형태 데이터에서 강력한 성능을 보이는 경우가 많다.