Language Model3 [딥러닝을이용한 자연어 처리 입문] 0301 언어 모델 Language Model이란? 1. 언어 모델(Language Model) - 단어 시퀀스(또는 문장)에 확률을 할당(assign) 해 가며 가장 자연스러운 단어 시퀀스를 찾아내는 모델 - 사용하는 방법은 언어 모델이 이전 단어들이 주어졌을 때 다음 단어를 예측 하도록 하는 것 - 주어진 양쪽의 단어들로부터 가운데 비어있는 단어를 예측 하도록 하는 것 등이 있음 2. 단어 시퀀스의 확률 할당 - 확률을 통해 보다 적절한 문장을 판단 선생님이 교실로 부리나케 P(달려갔다) > P(잘려갔다) 2021. 5. 16. [데이터 사이언스 스쿨] ml7.1 확률론적 언어 모형 ○ 확률론적 언어 모형(probability language model) : m개의 단어 w1,w2,…,wm 열(word sequence)이 주어졌을 때 문장으로써 성립될 확률 P(w1,w2,…,wm)을 출력함으로써 이 단어 열이 실제로 현실에서 사용될 수 있는 문장(sentence)인지를 판별하는 모형이다. 유니그램 모형(Unigram Model) : 모든 단어의 활용이 완전히 서로 독립 바이그램 모형(Bigram Model) : 단어의 활용이 전 단어에 의존 N그램 모형(N-gram Model) : 단어의 활용이 전 n-1개의 단어에 의존 - 출처 : [데이터 사이언스 스쿨] ml7.1 확률론적 언어 모형 2021. 5. 7. [edwith] 딥러닝을 이용한 자연어 처리 : Q & A - Neural Language Models - 조경현교수 [LECTURE] Questions : edwith 학습목표 이번 강의 주제인 "Neural Language Models" 에 관련된 질문입니다. 같이 생각하는 시간을 가지면서 배운 지식을 공고히 다집니다. 질문 1. 문장 생성시 ... - 커넥트재단 www.edwith.org 질문 1. 문장 생성시 다양성은 어떻게 해결하나요? 2. 문장 생성 모델 훈련시, 토픽을 감안한 효율적인 훈련 방법은 있나요? 역으로 문장이 주어졌을 때, 해당 문장을 어떤 토픽으로 분류할 수 있나요? 3. 문장 길이가 길어질 수록 점수가 낮아질 것 같은데 어떻게 해결하나요? 일반적인 문장표현은 어떻게 찾을 수 있나요? 4. 재미있는 문장은 어떻게 해야 훈련해야 할까요? 5. 문장에 점수를 메긴다(scroing)는 무엇을 뜻하나요.. 2021. 3. 18. 이전 1 다음
