[LECTURE] Autoregressive language modelling : edwith
학습목표 자기회귀 언어 모델링 방법에 대해서 학습합니다. 핵심키워드 자기회귀 언어 모델링(Autoregressive language modeling) - 커넥트재단
www.edwith.org
학습내용
- 자기회귀 언어 모델링(Autoregressive language modeling):
- Sequence 가 주어졌을 때 이 문장에게 점수를 부여 하는 방법입니다.
- 이전 토큰이 나왔을때 다음 토큰이 나올 확률을 계산하는 작업과 동일합니다.
- 이렇게 정의 하면서 비지도학습 문제를 지도학습으로 푸는 문제로 변하게 됩니다.
- 즉, 이전에 공부했던 텍스트 분류 문제와 같아지는데, input 은 이전에 나온 토큰, output은 다음에 나올 토큰을 예측 하는 것입니다.
- 또한, 문장에 점수(Score)를 부여하는 방식은 인간이 말하는 사고 방식과 동일합니다.
- 점수는 음의 최대 우도(negative log likelihood)로 측정합니다.
- 출처: [edwith] 딥러닝을 이용한 자연어 처리 : Autoregressive language Modeling - 조경현교수
