[LECTURE] Meta-Learning of Low-Resource Neural Machine Translation : edwith
학습목표 메타학습을 활용한 멀티 태스킹 학습을 공부합니다. 핵심키워드 멀티 태스킹 학습(MultiTask Learning) 다중언어 기계번역(Multilingual Translat... - 커넥트재단
www.edwith.org
학습내용
- MultiTask Learning
- 문제점:
- 적은 데이터(low-resource)에 대해서는 과적합(overfiting) 되는데, 풍부한 데이터(high-resource)에 대해서는 과소적합(underfiting) 되는 현상이 있습니다.
- 극히 적은 데이터는 무시하는 경향이 있었습니다.
- 다중언어 기계번역(Multilingual Translation)을 굉장히 적은 데이터로 학습시키려고 했지만 전이학습(Transfer Learning)으로는 잘 안됐습니다.
- Meta learning
- 목표: 이전과 달리 새로운 문제가 생겼을 때 더 잘 풀 수있게 하는 것을 목표로 합니다.
- 과정: 두 단계로 학습하게 됩니다.
1. Simulated Learning
훈련데이터 세트 Task 묶음에서 미니배치 데이터를 선택한 후, 현재 매개변수(parameter)에서 확률적 경사하강법(SGD)을 시뮬레이션 하고 어떻게 되는지 살펴봅니다.
2. Meta Learning
검증 세트(validation set)의 loss 값이 가장 낮게 만드는 목적으로 파라미터를 업데이트합니다. 즉, gradient 의 gradient(=hessian) 을 구해야 합니다.
3. Fast adaptation to a new task
- 훈련 완료후 앞으로 새로운 task 를 훈련시킬때, 랜덤하게 매개변수를 시작하는 것보다 학습이 훨씬 더 잘됩니다.
- 장점:
- 새로운 문제가 생겼을 때 빠르게 적용(adapt)할 수 있는 매개변수를 찾습니다.
- 기존 task 에 과적합이 덜 되게 할 수 있습니다.
- 주의:
- Input / Output miss match: 각각 언어의 Vocabulary 가 다릅니다.
- Universal lexical representation 사용합니다.
학습자료
case study 3 - meta-learning for NMT.pdf
1.95MB