[데이터 사이언스 스쿨] ml7.1 확률론적 언어 모형

○ 확률론적 언어 모형(probability language model) : m개의 단어 w1,w2,…,wm 열(word sequence)이 주어졌을 때 문장으로써 성립될 확률 P(w1,w2,…,wm)을 출력함으로써 이 단어 열이 실제로 현실에서 사용될 수 있는 문장(sentence)인지를 판별하는 모형이다.

 

• 유니그램 모형(Unigram Model) : 모든 단어의 활용이 완전히 서로 독립
• 바이그램 모형(Bigram Model) : 단어의 활용이 전 단어에 의존
• N그램 모형(N-gram Model) : 단어의 활용이 전 n-1개의 단어에 의존

 

 

 

dss_ml7_1_probability language model 확률론적 언어 모형.ipynb

0.05MB

 

- 출처 : [데이터 사이언스 스쿨] ml7.1 확률론적 언어 모형