인공신경망

개념

인공신경망은 사람의 뉴런 구조에서 아이디어를 얻은 모델이다. 입력값에 가중치(weight)를 곱하고 편향(bias)을 더한 뒤, 활성화 함수를 적용해 출력을 만든다.

한 층의 계산은 다음처럼 나타낼 수 있다.

$$\mathbf{y}=f(W\mathbf{x}+\mathbf{b})$$

학습 방식

모델은 예측값과 실제값의 차이, 즉 오차를 줄이는 방향으로 가중치를 반복적으로 조정한다. 이 과정에서 역전파와 경사하강법이 사용된다.

$$W\leftarrow W-\eta {\nabla }_W\mathcal{L}$$

구조

인공신경망은 보통 입력층, 하나 이상의 은닉층, 출력층으로 구성된다. MNIST 숫자 분류처럼 출력 클래스가 10개라면 출력층 유닛도 10개가 될 수 있다.