정지 규칙

개념

정지 규칙은 의사결정트리가 더 이상 분할하지 않고 멈추는 기준이다. 트리가 무한정 깊어지면 과적합이 생길 수 있으므로 정지 기준이 필요하다.

예시

• 트리의 최대 깊이를 지정한다.
• 노드의 샘플 수가 너무 적으면 멈춘다.
• 불순도 감소가 충분하지 않으면 멈춘다.
• 모든 데이터가 같은 클래스가 되면 멈춘다.

불순도 감소량이 임계값 $\epsilon$보다 작으면 분할을 중단하는 식으로 표현할 수 있다.

$$\Delta I=I(S)-I_{\mathrm{split}}<\epsilon$$

의미

정지 규칙은 모델의 복잡도를 조절하는 규제 역할을 한다. 적절한 정지 규칙은 학습 데이터뿐 아니라 새로운 데이터에 대한 일반화 성능을 높인다.