본문 바로가기

기계번역14

[딥러닝을이용한 자연어 처리 입문] 1503 BLEU Score(Bilingual Evaluation Understudy Score) 1. BLEU Score(Bilingual Evaluation Understudy Score) - n-gram 기반의 기계 번역 성능 측정 방법 - 언어에 구애받지 않음 - 계산 속도가 빠름 1) 단어 개수 카운트로 측정하기(Unigram Precision) Ca : 번역된 문장 Ref : 정답 문장 2) 중복을 제거하여 보정하기(Modified Unigram Precision) 3) 보정된 유니그램 정밀도 (Modified Unigram Precision) 구현하기 4) 순서를 고려하기 위해서 n-gram으로 확장하기 필요 5) 짧은 문장 길이에 대한 패널티(Brevity Penalty) 적용 필요 2. NLTK를 사용한 BLEU 측정하기 - 파이썬에서는 NLTK 패키지를 사용하여 BLEU를 계산할 수.. 2021. 6. 2.
[딥러닝을이용한 자연어 처리 입문] 1502 Word-Level 번역기 만들기(Neural Machine Translation (seq2seq) Tutorial) 1. 데이터 로드 및 전처리 2. 기계 번역기 만들기 3. seq2seq 기계 번역기 동작시키기 - [딥러닝을이용한 자연어 처리 입문] 1502 Word-Level 번역기 만들기(Neural Machine Translation (seq2seq) Tutorial) 2021. 6. 1.
[딥러닝을이용한 자연어 처리 입문] 1501 시퀀스-투-시퀀스(Sequence-to-Sequence, seq2seq) 1. 시퀀스-투-시퀀스(Sequence-to-Sequence) - 인코더와 디코더로 구성(두 개의 RNN 셀) - 입력 시퀀스와 출력 시퀀스의 길이가 다를 수 있다고 가정 ① 인코더(Encoder) 입력 문장을 받는 RNN 셀 모든 단어들을 순차적으로 받아 모든 단어 정보들을 압축하여 하나의 벡터 생성(context vector) context vector를 디코더(Decoder)로 전송, 이 벡터는 디코더 RNN 셀의 첫 번째 시점의 은닉 상태로 사용 됨 성능 문제로 바닐라 RNN이 아닌 LSTM 셀 또는 GRU 셀로 구성 ② 디코더(Decoder) RNNLM(RNN Language Model)로서 context vector를 받아 번역된 단어를 한 개씩 순차적으로 출력하는 RNN 셀 다음에 올 단어를.. 2021. 6. 1.
[edwith] 딥러닝을 이용한 자연어 처리 : Finishing the lecture [LECTURE] Finishing the lecture : edwith 강의를 마치며 딥러닝을 이용한 자연어 처리 강의를 수강하신 여러분 고생많으셨습니다. 만약 자연어 처리에 대해 처음 배우시는 분이라면, 한 번에 강의의 모든 지식을 배우기 어렵다고 ... - www.edwith.org - 출처: [edwith] 딥러닝을 이용한 자연어 처리 : Finishing the lecture 2021. 3. 20.