본문 바로가기

Language Modeling3

[edwith] 딥러닝을 이용한 자연어 처리 : Summary - Neural Language Models - 조경현교수 [LECTURE] Summary : edwith 학습목표 지금까지 배운 언어 모델링에 대해서 다시 한번 정리하고 복습합니다 핵심키워드 언어 모델링(Language Modeling) 문장표현(Sentence Representat... - 커넥트재단 www.edwith.org 핵심키워드 언어 모델링(Language Modeling) 문장표현(Sentence Representation) Neural N-Gram Language Model Convolution Language Model Recurrent Language Model Recurrent Memory Networks - 출처: [edwith] 딥러닝을 이용한 자연어 처리 : Neural Language Model - Summary - 조경현교수 2021. 3. 18.
[edwith] 딥러닝을 이용한 자연어 처리 : Autoregressive language Modeling - 조경현교수 [LECTURE] Autoregressive language modelling : edwith 학습목표 자기회귀 언어 모델링 방법에 대해서 학습합니다. 핵심키워드 자기회귀 언어 모델링(Autoregressive language modeling) - 커넥트재단 www.edwith.org 학습내용 자기회귀 언어 모델링(Autoregressive language modeling): Sequence 가 주어졌을 때 이 문장에게 점수를 부여 하는 방법입니다. 이전 토큰이 나왔을때 다음 토큰이 나올 확률을 계산하는 작업과 동일합니다. 이렇게 정의 하면서 비지도학습 문제를 지도학습으로 푸는 문제로 변하게 됩니다. 즉, 이전에 공부했던 텍스트 분류 문제와 같아지는데, input 은 이전에 나온 토큰, output은 다.. 2021. 3. 18.
[edwith] 딥러닝을 이용한 자연어 처리 : Neural Language Models - Overview - Language Modeling - 조경현교수 [LECTURE] Overview: Language Modelling : edwith 학습목표 자연어 처리에서 언어 모델링 문제를 다뤄봅니다. 핵심키워드 언어 모델링(Language Modeling) - 커넥트재단 www.edwith.org 학습내용 언어 모델링(Language Modeling) Input: 하나의 문장 Output: Input 문장에 대한 확률 텍스트 분류 문제와 달리, 비지도학습입니다. 하지만, 순서가 있는 지도학습으로 문제를 바꿔서 풀 수 있습니다. 학습자료 - 출처: [edwith] 딥러닝을 이용한 자연어 처리 : Neural Language Models - Overview - Language Modeling - 조경현교수 2021. 3. 18.