[edwith] 딥러닝을 이용한 자연어 처리 : RNN Neural Machine Translation - 조경현교수

 

[LECTURE] RNN Neural Machine Translation : edwith

 

학습내용

 

• 구조
• 소스 문장의 표현(Source sentence representation) 은 양방향 RNN(bidirectional RNN) 을 활용합니다.
• 타겟 토큰의 표현은 단일 방향 RNN(unidirectional RNN) 입니다.
• Attention mechanism: 다음 토큰을 예측하기 전에 소스 문장에서 어느 토큰이 제일 연관성이 높은가를 살펴보게 됩니다. 
  
  • 연관성을 나타내는 벡터와 인코딩된 소스 문장 벡터와 결합하여 소스 문맥 벡터(Context vector)를 도출합니다. 
• 다음 타겟 토큰의 예측을 위해 소스 문맥 벡터와 이전 타겟 토큰의 벡터를 함께 사용합니다.

 

 

Attention mechanism 설명

소스 토큰과 연관성이 높은 타겟 토큰을 시각화 한 그림입니다. 선의 굵기가 선명할 수록 연관성이 높다고 할 수 있습니다. 예로 들면, 영어-불어 번역에서 "Economic" 과 "economique"에 굵은 선이 연결된 것을 볼 수 있습니다. 기계가 "economique" 이라는 토큰을 예측 할때, 소스 문장에서 "Economic" 토큰에 큰 가중치가 부여 했다는 점을 시사합니다.

 

 

- 출처: [edwith] 딥러닝을 이용한 자연어 처리 : RNN Neural Machine Translation - 조경현교수