본문 바로가기

NLP107

[edwith] 딥러닝을 이용한 자연어 처리 : Case Study - Real-Time Translation Learning to Decode - 조경현교수 [LECTURE] Real-Time Translation Learning to Decode : edwith 학습목표 Decoding 하는 방법을 고민해보고, 동시통역 대해서 공부합니다. 핵심키워드 완전탐색 (Exhaustive Search, Brute-force search) Ances... - 커넥트재단 www.edwith.org 학습내용 Decoding 완전탐색 (Exhaustive Search, Brute-force search): 가능한 경우를 모두 구해서 문제의 해결 방법을 찾는 것입니다. 문제점: 물리적으로 불가능합니다. Ancestral Sampling, Forward Sampling: 문제점: 샘플을 많이 뽑아야하고, variance 가 높습니다. 그리디 탐색(Greedy Search): .. 2021. 3. 20.
[edwith] 딥러닝을 이용한 자연어 처리 : Case Study - Meta-Learning of Low-Resource Neural Machine Translation - 조경현교수 [LECTURE] Meta-Learning of Low-Resource Neural Machine Translation : edwith 학습목표 메타학습을 활용한 멀티 태스킹 학습을 공부합니다. 핵심키워드 멀티 태스킹 학습(MultiTask Learning) 다중언어 기계번역(Multilingual Translat... - 커넥트재단 www.edwith.org 학습내용 MultiTask Learning 문제점: 적은 데이터(low-resource)에 대해서는 과적합(overfiting) 되는데, 풍부한 데이터(high-resource)에 대해서는 과소적합(underfiting) 되는 현상이 있습니다. 극히 적은 데이터는 무시하는 경향이 있었습니다. 다중언어 기계번역(Multilingual Translat.. 2021. 3. 20.
[edwith] 딥러닝을 이용한 자연어 처리 : Case Study - Fully Character-Level Machine Translation - 조경현교수 [LECTURE] Fully Character-Level Machine Translation : edwith 학습목표 글자 단위의 기계번역을 학습합니다. 또한 실험결과를 통해 다중언어 기계번역으로 확장시킵니다. 핵심키워드 기계 번역(Machine Translation) 형태(morphol... - 커넥트재단 www.edwith.org 학습내용 왜 (하위)단어 단위((sub)word-level)의 모델링은 힘들까요? 형태(morphology)가 풍부한 언어는 단어수가 많아지기 때문에 다루기 어렵습니다. 특히 합성어가 많을 경우 더 어렵습니다. 줄임말, 오타를 다루기 어렵습니다. 정보량이 다른 토큰에 같은 파라미터를 부여하기 때문에, 모델링이 효율적이지 못합니다. 글자 단위 모델링(Character-leve.. 2021. 3. 20.
[D2] 모두를 위한 기계번역 - 박찬준님 - 발표영상 - 슬라이드 Mt 모두를 위한 기계번역 (박찬준) ○ 개요 2014년 본격적으로 NMT에 대한 연구가 진행되었으며 현재는 Transformer 기반의 다양한 NMT 시스템들이 연구되고 있습니다. 더 나아가 최근 NLP에서 가장 뜨거운 www.slideshare.net 5. NMT 하위 분야 ○ Automatic Post Editing(APE): 번역문 사후 교정 - 기계 번역 시스템이 생성한 결과물에 포함되어 있는 오류를 수정하여 더 나은 품질의 번역문을 만들어내는 과정 ○ Quality Estimation(QE) - 정답번역문의 참고 없이 기계번역문당의 번역품질을 예측하는 것 ○ Parallel Corpus Filtering - 양질의 Parallel Corpus를 구축하기 위한 작업이며 .. 2021. 3. 19.

티스토리툴바