본문 바로가기

NLP107

[edwith] 딥러닝을 이용한 자연어 처리 : Q & A - Neural Language Models - 조경현교수 [LECTURE] Questions : edwith 학습목표 이번 강의 주제인 "Neural Language Models" 에 관련된 질문입니다. 같이 생각하는 시간을 가지면서 배운 지식을 공고히 다집니다. 질문 1. 문장 생성시 ... - 커넥트재단 www.edwith.org 질문 1. 문장 생성시 다양성은 어떻게 해결하나요? 2. 문장 생성 모델 훈련시, 토픽을 감안한 효율적인 훈련 방법은 있나요? 역으로 문장이 주어졌을 때, 해당 문장을 어떤 토픽으로 분류할 수 있나요? 3. 문장 길이가 길어질 수록 점수가 낮아질 것 같은데 어떻게 해결하나요? 일반적인 문장표현은 어떻게 찾을 수 있나요? 4. 재미있는 문장은 어떻게 해야 훈련해야 할까요? 5. 문장에 점수를 메긴다(scroing)는 무엇을 뜻하나요.. 2021. 3. 18.
[edwith] 딥러닝을 이용한 자연어 처리 : Summary - Neural Language Models - 조경현교수 [LECTURE] Summary : edwith 학습목표 지금까지 배운 언어 모델링에 대해서 다시 한번 정리하고 복습합니다 핵심키워드 언어 모델링(Language Modeling) 문장표현(Sentence Representat... - 커넥트재단 www.edwith.org 핵심키워드 언어 모델링(Language Modeling) 문장표현(Sentence Representation) Neural N-Gram Language Model Convolution Language Model Recurrent Language Model Recurrent Memory Networks - 출처: [edwith] 딥러닝을 이용한 자연어 처리 : Neural Language Model - Summary - 조경현교수 2021. 3. 18.
[edwith] 딥러닝을 이용한 자연어 처리 : N-Gram Language Models - 조경현교수 [LECTURE] N-Gram Language Models : edwith 학습목표 신경망 이전에 사용했던 언어 모델인 n-gram 언어 모델을 학습하고, 어떤 문제점이 있는지 살펴봅니다. 핵심키워드 n-gram Language Model 최대우도추정(M... - 커넥트재단 www.edwith.org 학습내용 인공 신경망 이전에 어떻게 이 문제를 해결했는지 살펴보는 시간입니다. n-gram이란 주어진 텍스트 샘플의 연속적인 n 개 항목을 뜻합니다. n-gram probability: 주어진 N 개의 토큰에 대하여, 토큰 x 가 나올 수 있는 확률은 이전 N개의 토큰과 토큰 x 의 결합확률을 이전 N개의 토큰들과 등장 할 수 있는 모든 토큰들의 결합확률 합으로 나눈 것입니다. n-gram probabili.. 2021. 3. 18.
[edwith] 딥러닝을 이용한 자연어 처리 : Autoregressive language Modeling - 조경현교수 [LECTURE] Autoregressive language modelling : edwith 학습목표 자기회귀 언어 모델링 방법에 대해서 학습합니다. 핵심키워드 자기회귀 언어 모델링(Autoregressive language modeling) - 커넥트재단 www.edwith.org 학습내용 자기회귀 언어 모델링(Autoregressive language modeling): Sequence 가 주어졌을 때 이 문장에게 점수를 부여 하는 방법입니다. 이전 토큰이 나왔을때 다음 토큰이 나올 확률을 계산하는 작업과 동일합니다. 이렇게 정의 하면서 비지도학습 문제를 지도학습으로 푸는 문제로 변하게 됩니다. 즉, 이전에 공부했던 텍스트 분류 문제와 같아지는데, input 은 이전에 나온 토큰, output은 다.. 2021. 3. 18.

티스토리툴바