자연어처리52 [딥러닝을이용한 자연어 처리 입문] 1602 바다나우 어텐션(Bahdanau Attention) 1. 바다나우 어텐션 함수(Bahdanau Attention Function) Attention(Q, K, V) = Attention Value t = 어텐션 메커니즘이 수행되는 디코더 셀의 현재 시점을 의미 Q = Query : t-1 시점의 디코더 셀에서의 은닉 상태 K = Keys : 모든 시점의 인코더 셀의 은닉 상태들 V = Values : 모든 시점의 인코더 셀의 은닉 상태들 2. 바다나우 어텐션(Bahdanau Attention)의 연산순서 - 어텐션 스코어(Attention Score)를 구한다 - 소프트맥스(softmax) 함수를 통해 어텐션 분포(Attention Distribution)를 구한다 - 각 인코더의 어텐션 가중치와 은닉 상태를 가중합하여 어텐션 값(Attention Val.. 2021. 6. 3. [KoreaUniv DSBA] 논문리뷰 - Improving Language Understanding by Generative Pre-Training - 이윤승님 ★ 출처: [KoreaUniv DSBA] 논문리뷰 - Improving Language Understanding by Generative Pre-Training - 이윤승님 2021. 4. 1. [KoreaUniv DSBA] 논문리뷰 - Vq-wav2vec: Self-Supervised Learning of Discrete Speech Representations - 김정희님 ★ 발표영상 ★ 발표자료 http://dsba.korea.ac.kr/seminar/ ★ DSBA 연구실 http://dsba.korea.ac.kr/ 2021. 3. 29. [[Paper Review] 논문리뷰 - SOM-DST : Efficient Dialogue State Tracking by Selectively Overwriting Memory - 이유경님 - 목차 ○ Overview ○ SOM-DST Model 1) State Operation Predictor 2) Slot Value Generator 3) Objective Function - 발표영상 ** SOM-DST Clova AI (Naver)에서 제안한 모델 2021. 3. 23. 이전 1 2 3 4 5 ··· 13 다음
