[딥러닝을이용한 자연어 처리 입문] 1801 NLP에서의 사전 훈련(Pre-training)

[ 이미지 출처 : Dive Into Deep Learning - Chap. 14 ]

 

 

1. 사전 훈련된 워드 임베딩

 

- 워드 임베딩 방법

 

• 처음부터 학습하는 방법
• 이미 학습된 임베딩 벡터를 가져와 사용하는 방법

- 워드 임베딩의 단점 극복 필요

 

• 하나의 단어가 하나의 벡터값으로 맴핑되므로 문맥을 고려하지 못하여 다의어나 동음이의어를 구분하지 못하는 한계 노출
• 사전 훈련된 언어 모델의 적용 시작

 

2. 사전 훈련된 언어 모델

 

• Word2vec
• ELMo
• GPT
• BERT
• XLNet
• ...

 

- 출처 : [딥러닝을이용한 자연어 처리 입문] 1801 NLP에서의 사전 훈련(Pre-training)