[딥러닝을이용한 자연어 처리 입문] 0803 딥 러닝의 학습 방법

[ 이미지 출처 : Michael L. Peng's blog post ]

 

1. 순전파(Forward Propagation)

 

- 입력층에서 출력층 방향으로 예측값의 연산이 진행되는 과정

 

2. 손실 함수(Loss function)

 

- 실제값과 예측값의 차이를 수치화해주는 함수

- 오차가 클 수록 손실 함수의 값은 크고 오차가 작을 수록 손실 함수의 값은 작아짐

- 손실 함수의 값을 최소화하는 두 개의 매개변수인 가중치 W와 편향 b를 찾아가는 것이 딥 러닝의 학습 과정이므로 손실 함수의 선정은 매우 중요

 

3. 옵티마이저(Optimizer)

 

- 손실 함수의 값을 줄여나가면서 학습하는 방법은 어떤 옵티마이저를 사용하느냐에 따라 달라짐

• 배치 경사 하강법(Batch Gradient Descent)
• 확률적 경사 하강법(Stochastic Gradient Descent, SGD)
• 미니 배치 경사 하강법(Mini-Batch Gradient Descent)
• 모멘텀(Momentum)
• 아다그라드(Adagrad)
• 알엠에스프롭(RMSprop)
• 아담(Adam)

5. 에포크와 배치 크기와 이터레이션(Epochs and Batch size and Iteration)

 

 

- 출처 : [딥러닝을이용한 자연어 처리 입문] 0803 딥 러닝의 학습 방법