본문 바로가기

자연어처리52

[edwith] 딥러닝을 이용한 자연어 처리 : Case Study - Meta-Learning of Low-Resource Neural Machine Translation - 조경현교수 [LECTURE] Meta-Learning of Low-Resource Neural Machine Translation : edwith 학습목표 메타학습을 활용한 멀티 태스킹 학습을 공부합니다. 핵심키워드 멀티 태스킹 학습(MultiTask Learning) 다중언어 기계번역(Multilingual Translat... - 커넥트재단 www.edwith.org 학습내용 MultiTask Learning 문제점: 적은 데이터(low-resource)에 대해서는 과적합(overfiting) 되는데, 풍부한 데이터(high-resource)에 대해서는 과소적합(underfiting) 되는 현상이 있습니다. 극히 적은 데이터는 무시하는 경향이 있었습니다. 다중언어 기계번역(Multilingual Translat.. 2021. 3. 20.
[edwith] 딥러닝을 이용한 자연어 처리 : Case Study - Fully Character-Level Machine Translation - 조경현교수 [LECTURE] Fully Character-Level Machine Translation : edwith 학습목표 글자 단위의 기계번역을 학습합니다. 또한 실험결과를 통해 다중언어 기계번역으로 확장시킵니다. 핵심키워드 기계 번역(Machine Translation) 형태(morphol... - 커넥트재단 www.edwith.org 학습내용 왜 (하위)단어 단위((sub)word-level)의 모델링은 힘들까요? 형태(morphology)가 풍부한 언어는 단어수가 많아지기 때문에 다루기 어렵습니다. 특히 합성어가 많을 경우 더 어렵습니다. 줄임말, 오타를 다루기 어렵습니다. 정보량이 다른 토큰에 같은 파라미터를 부여하기 때문에, 모델링이 효율적이지 못합니다. 글자 단위 모델링(Character-leve.. 2021. 3. 20.
[edwith] 딥러닝을 이용한 자연어 처리 : Q n A - Neural Machine Translation - 조경현교수 [LECTURE] Questions : edwith 학습목표 이번 강의 주제인 "Neural Machine Translation" 에 관련된 질문입니다. 같이 생각하는 시간을 가지면서 배운 지식을 공고히 다집니다. 질문 1. 기계번... - 커넥트재단 www.edwith.org 질문 1. 기계번역의 평가는 어떻게 하나요? 사람들이 RNN을 안쓰고 어떤 다른 방법으로 가고 있습니까? 훈련데이터를 필터링해서 크기를 줄일 수 있는 방법은 어떤 것이 있나요? 2. Vocabulary 크기는 문제마다 다르게 설정해야하나요? -출처: [edwith] 딥러닝을 이용한 자연어 처리 : Q n A - Neural Machine Translation - 조경현교수 2021. 3. 19.
[edwith] 딥러닝을 이용한 자연어 처리 : RNN Neural Machine Translation - 조경현교수 [LECTURE] RNN Neural Machine Translation : edwith 학습목표 RNN을 활용한 기계번역의 과정을 공부합니다. 핵심키워드 기계번역(Machine Translation) 소스 언어(Source Language) 타겟 언어(Target ... - 커넥트재단 www.edwith.org 학습내용 구조 소스 문장의 표현(Source sentence representation) 은 양방향 RNN(bidirectional RNN) 을 활용합니다. 타겟 토큰의 표현은 단일 방향 RNN(unidirectional RNN) 입니다. Attention mechanism: 다음 토큰을 예측하기 전에 소스 문장에서 어느 토큰이 제일 연관성이 높은가를 살펴보게 됩니다. 연관성을 나타내는 벡터와 .. 2021. 3. 19.

티스토리툴바