규제

개념

규제는 모델이 학습 데이터에 지나치게 맞춰지는 것을 막기 위한 기법이다. 과적합을 줄이고 일반화 성능을 높이는 데 사용된다.

딥러닝에서의 예

딥러닝에서는 Dropout, L2 정규화, Early stopping 같은 방법을 사용한다. Dropout은 학습 중 일부 뉴런을 임시로 끄고, L2는 가중치가 너무 커지지 않게 제한한다.

L2 규제를 적용한 목적함수는 다음과 같다.

$${\mathcal{L}}_{\mathrm{reg}}={\mathcal{L}}_{\mathrm{data}}+\lambda \sum _j{w}_j^2$$

의사결정트리에서의 예

의사결정트리에서는 트리 깊이를 제한하거나, 리프 노드의 최소 샘플 수를 정하거나, 불필요한 가지를 잘라내는 가지치기를 사용할 수 있다.