자연어 처리116 [딥러닝을이용한 자연어 처리 입문] 1604 양방향 LSTM과 어텐션 메커니즘(BiLSTM with Attention mechanism) 양방향 LSTM과 어텐션 메커니즘으로 IMDB 리뷰 감성 분류하기 1. IMDB 리뷰 데이터 전처리하기 2. 바다나우 어텐션(Bahdanau Attention) 3. 양방향 LSTM + 어텐션 메커니즘(BiLSTM with Attention Mechanism) - [딥러닝을이용한 자연어 처리 입문] 1604 양방향 LSTM과 어텐션 메커니즘(BiLSTM with Attention mechanism) 2021. 6. 3. [딥러닝을이용한 자연어 처리 입문] 1601 어텐션 메커니즘 (Attention Mechanism) 1. 어텐션 메커니즘 (Attention Mechanism)의 아이디어 RNN에 기반한 seq2seq 모델의 문제점 첫째, 하나의 고정된 크기의 벡터에 모든 정보를 압축하려고 하니까 정보 손실이 발생합니다. 둘째, RNN의 고질적인 문제인 기울기 소실(Vanishing Gradient) 문제가 존재합니다. 이를 위한 대안으로 입력 시퀀스가 길어지면 출력 시퀀스의 정확도가 떨어지는 것을 보정해주기 위한 등장한 기법인 어텐션(attention) 등장 - 디코더에서 출력 단어를 예측하는 매 시점(time step)마다, 인코더에서의 전체 입력 문장중 해당 시점에서 예측해야할 단어와 연관이 있는 입력 단어 부분을 좀 더 집중(attention)해서 봄 2. 어텐션 함수(Attention Function) - 어.. 2021. 6. 2. [딥러닝을이용한 자연어 처리 입문] 1503 BLEU Score(Bilingual Evaluation Understudy Score) 1. BLEU Score(Bilingual Evaluation Understudy Score) - n-gram 기반의 기계 번역 성능 측정 방법 - 언어에 구애받지 않음 - 계산 속도가 빠름 1) 단어 개수 카운트로 측정하기(Unigram Precision) Ca : 번역된 문장 Ref : 정답 문장 2) 중복을 제거하여 보정하기(Modified Unigram Precision) 3) 보정된 유니그램 정밀도 (Modified Unigram Precision) 구현하기 4) 순서를 고려하기 위해서 n-gram으로 확장하기 필요 5) 짧은 문장 길이에 대한 패널티(Brevity Penalty) 적용 필요 2. NLTK를 사용한 BLEU 측정하기 - 파이썬에서는 NLTK 패키지를 사용하여 BLEU를 계산할 수.. 2021. 6. 2. [딥러닝을이용한 자연어 처리 입문] 1502 Word-Level 번역기 만들기(Neural Machine Translation (seq2seq) Tutorial) 1. 데이터 로드 및 전처리 2. 기계 번역기 만들기 3. seq2seq 기계 번역기 동작시키기 - [딥러닝을이용한 자연어 처리 입문] 1502 Word-Level 번역기 만들기(Neural Machine Translation (seq2seq) Tutorial) 2021. 6. 1. 이전 1 2 3 4 5 6 7 ··· 29 다음
