본문 바로가기

IT 와 Social 이야기/NLP 자연어처리168

[딥러닝을이용한 자연어 처리 입문] 1604 양방향 LSTM과 어텐션 메커니즘(BiLSTM with Attention mechanism) 양방향 LSTM과 어텐션 메커니즘으로 IMDB 리뷰 감성 분류하기 1. IMDB 리뷰 데이터 전처리하기 2. 바다나우 어텐션(Bahdanau Attention) 3. 양방향 LSTM + 어텐션 메커니즘(BiLSTM with Attention Mechanism) - [딥러닝을이용한 자연어 처리 입문] 1604 양방향 LSTM과 어텐션 메커니즘(BiLSTM with Attention mechanism) 2021. 6. 3.
[딥러닝을이용한 자연어 처리 입문] 1602 바다나우 어텐션(Bahdanau Attention) 1. 바다나우 어텐션 함수(Bahdanau Attention Function) Attention(Q, K, V) = Attention Value t = 어텐션 메커니즘이 수행되는 디코더 셀의 현재 시점을 의미 Q = Query : t-1 시점의 디코더 셀에서의 은닉 상태 K = Keys : 모든 시점의 인코더 셀의 은닉 상태들 V = Values : 모든 시점의 인코더 셀의 은닉 상태들 2. 바다나우 어텐션(Bahdanau Attention)의 연산순서 - 어텐션 스코어(Attention Score)를 구한다 - 소프트맥스(softmax) 함수를 통해 어텐션 분포(Attention Distribution)를 구한다 - 각 인코더의 어텐션 가중치와 은닉 상태를 가중합하여 어텐션 값(Attention Val.. 2021. 6. 3.
[딥러닝을이용한 자연어 처리 입문] 1601 어텐션 메커니즘 (Attention Mechanism) 1. 어텐션 메커니즘 (Attention Mechanism)의 아이디어 RNN에 기반한 seq2seq 모델의 문제점 첫째, 하나의 고정된 크기의 벡터에 모든 정보를 압축하려고 하니까 정보 손실이 발생합니다. 둘째, RNN의 고질적인 문제인 기울기 소실(Vanishing Gradient) 문제가 존재합니다. 이를 위한 대안으로 입력 시퀀스가 길어지면 출력 시퀀스의 정확도가 떨어지는 것을 보정해주기 위한 등장한 기법인 어텐션(attention) 등장 - 디코더에서 출력 단어를 예측하는 매 시점(time step)마다, 인코더에서의 전체 입력 문장중 해당 시점에서 예측해야할 단어와 연관이 있는 입력 단어 부분을 좀 더 집중(attention)해서 봄 2. 어텐션 함수(Attention Function) - 어.. 2021. 6. 2.
[딥러닝을이용한 자연어 처리 입문] 1503 BLEU Score(Bilingual Evaluation Understudy Score) 1. BLEU Score(Bilingual Evaluation Understudy Score) - n-gram 기반의 기계 번역 성능 측정 방법 - 언어에 구애받지 않음 - 계산 속도가 빠름 1) 단어 개수 카운트로 측정하기(Unigram Precision) Ca : 번역된 문장 Ref : 정답 문장 2) 중복을 제거하여 보정하기(Modified Unigram Precision) 3) 보정된 유니그램 정밀도 (Modified Unigram Precision) 구현하기 4) 순서를 고려하기 위해서 n-gram으로 확장하기 필요 5) 짧은 문장 길이에 대한 패널티(Brevity Penalty) 적용 필요 2. NLTK를 사용한 BLEU 측정하기 - 파이썬에서는 NLTK 패키지를 사용하여 BLEU를 계산할 수.. 2021. 6. 2.

티스토리툴바