기계번역14 [edwith] 딥러닝을 이용한 자연어 처리 : Encoder & Decoder - 조경현교수 [LECTURE] Encoder & Decoder : edwith 학습목표 기계번역의 모델구조와 과정을 살펴봅니다. 핵심키워드 기계번역(Machine Translation) 소스 언어(Source Language) 타겟 언어(Target Lan... - 커넥트재단 www.edwith.org 학습내용 소스 언어와 타겟 언어의 유니크한 단어장을 구축합니다. 토크나이즈(tokenize): 단어 및 쉼표, 마침표 등을 분리하고, 부호를 표준화(통일) 시킵니다. 하위 단어의 세분화(subword segmentation): BPE 인코딩을 통해 하위 단어의 세분화를 진행합니다. 모든 하위 단어를 통합하여 빈도수 내림차순으로 정렬한 뒤 인덱스를 부여합니다. 인코더(Encoder): 소스 문장의 토큰들을 문장을 표현하.. 2021. 3. 19. [edwith] 딥러닝을 이용한 자연어 처리 : Overview - Neural Machine Translation - 조경현교수 [LECTURE] Overview: a bit of history remark : edwith 학습목표 자연어 처리에서 기계번역 문제를 다뤄보기 전에, 우선 기계번역의 역사를 들어봅니다. 핵심키워드 기계번역(Machine Translation) 룰 기반 기계번역(Rule-b... - 커넥트재단 www.edwith.org 학습내용 신경망 기반 기계번역(Neural Machine Translation): Input: 소스 언어(Source Language), 번역의 원천이 되는 언어 Output: 타겟 언어(Target Language), 번역을 하고자 하는 언어 문제정의: Input 문장이 주어졌을 때, 번역된 문장을 출력하기 때문에 지도학습입니다. Input 문장이 주어졌을때 번역될 문장의 조건부 확률분.. 2021. 3. 19. 이전 1 2 3 4 다음