어텐션4 [딥러닝을이용한 자연어 처리 입문] 1703 셀프 어텐션을 이용한 텍스트 분류(Multi-head Self Attention for Text Classification) - 목표 : 트랜스포머의 인코더(셀프 어텐션이라는 메커니즘을 통해 문장을 이해)를 사용하여 텍스트 분류를 수행 1. 멀티 헤드 어텐션 2. 인코더 설계하기 3. 포지션 임베딩 4. 데이터 로드 및 전처리 5. 트랜스포머를 이용한 IMDB 리뷰 분류 - 출처 : [딥러닝을이용한 자연어 처리 입문] 1703 셀프 어텐션을 이용한 텍스트 분류(Multi-head Self Attention for Text Classification) 2021. 6. 3. [딥러닝을이용한 자연어 처리 입문] 1602 바다나우 어텐션(Bahdanau Attention) 1. 바다나우 어텐션 함수(Bahdanau Attention Function) Attention(Q, K, V) = Attention Value t = 어텐션 메커니즘이 수행되는 디코더 셀의 현재 시점을 의미 Q = Query : t-1 시점의 디코더 셀에서의 은닉 상태 K = Keys : 모든 시점의 인코더 셀의 은닉 상태들 V = Values : 모든 시점의 인코더 셀의 은닉 상태들 2. 바다나우 어텐션(Bahdanau Attention)의 연산순서 - 어텐션 스코어(Attention Score)를 구한다 - 소프트맥스(softmax) 함수를 통해 어텐션 분포(Attention Distribution)를 구한다 - 각 인코더의 어텐션 가중치와 은닉 상태를 가중합하여 어텐션 값(Attention Val.. 2021. 6. 3. [딥러닝을이용한 자연어 처리 입문] 1601 어텐션 메커니즘 (Attention Mechanism) 1. 어텐션 메커니즘 (Attention Mechanism)의 아이디어 RNN에 기반한 seq2seq 모델의 문제점 첫째, 하나의 고정된 크기의 벡터에 모든 정보를 압축하려고 하니까 정보 손실이 발생합니다. 둘째, RNN의 고질적인 문제인 기울기 소실(Vanishing Gradient) 문제가 존재합니다. 이를 위한 대안으로 입력 시퀀스가 길어지면 출력 시퀀스의 정확도가 떨어지는 것을 보정해주기 위한 등장한 기법인 어텐션(attention) 등장 - 디코더에서 출력 단어를 예측하는 매 시점(time step)마다, 인코더에서의 전체 입력 문장중 해당 시점에서 예측해야할 단어와 연관이 있는 입력 단어 부분을 좀 더 집중(attention)해서 봄 2. 어텐션 함수(Attention Function) - 어.. 2021. 6. 2. [퇴근후딴짓] TensorFlow 2.X, 딥러닝 시작하기 III - 어텐션을 활용한 기계 번역 2021. 4. 15. 이전 1 다음
