개념
역전파는 인공신경망이 오차를 줄이기 위해 가중치를 조정하는 학습 과정이다. 출력층에서 계산된 오차를 앞쪽 층으로 거꾸로 전달하며 각 가중치가 오차에 얼마나 영향을 주었는지 계산한다.
역할
인공신경망은 단순히 한 번 계산해서 끝나는 모델이 아니다. 예측이 틀리면 손실을 계산하고, 역전파를 통해 가중치를 조금씩 바꾼다. 이 과정을 반복하면서 성능이 좋아진다.
연쇄 법칙으로 각 가중치가 손실에 미치는 영향을 계산한다.
계산된 기울기로 가중치를 갱신한다.
문제점
신경망이 깊어질수록 앞쪽 층으로 전달되는 기울기가 너무 작아지는 기울기 소실 문제가 생길 수 있다.