[딥러닝을이용한 자연어 처리 입문] 0301 언어 모델 Language Model이란?

1. 언어 모델(Language Model)

 

- 단어 시퀀스(또는 문장)에 확률을 할당(assign) 해 가며 가장 자연스러운 단어 시퀀스를 찾아내는 모델

- 사용하는 방법은 언어 모델이 이전 단어들이 주어졌을 때 다음 단어를 예측 하도록 하는 것

- 주어진 양쪽의 단어들로부터 가운데 비어있는 단어를 예측 하도록 하는 것 등이 있음

 

2. 단어 시퀀스의 확률 할당

 

- 확률을 통해 보다 적절한 문장을 판단

 

선생님이 교실로 부리나케
P(달려갔다) > P(잘려갔다)

 

 

[ 이미지 출처 : medium.com - Summary: Building Language Models for ~ ]