[KoreaUniv DSBA] [Paper Review] Transformer to T5 (XLNet, RoBERTa, MASS, BART, MT-DNN,T5)

 

 

 

 

발표자: 이유경

 

1. Topic : Transformer 기반의 언어모델들에대한 정리 및 비교 (2018~2019년 발표된 논문)

2. Overview : Natural Language Process (NLP)는 transformer의 등장으로 엄청난 발전을 이루었다. 특히 2018년에 발표된 BERT와 GPT는 Transformer 기반의 모델로서 다양한 NLP task에 높은 성능을 보였다. 본 발표는 BERT 발표 이후 T5모델이 발표될 때까지 NLP에서 높은 성능을 보인 모델 6가지를 정리하고 비교하며, 특히 XLNet과 T5에 초점을 맞추어 구성하였다. (XLNet, RoBERTa, MASS, BART, MT-DNN,T5)