Seq2Seq5 [딥러닝을이용한 자연어 처리 입문] 1601 어텐션 메커니즘 (Attention Mechanism) 1. 어텐션 메커니즘 (Attention Mechanism)의 아이디어 RNN에 기반한 seq2seq 모델의 문제점 첫째, 하나의 고정된 크기의 벡터에 모든 정보를 압축하려고 하니까 정보 손실이 발생합니다. 둘째, RNN의 고질적인 문제인 기울기 소실(Vanishing Gradient) 문제가 존재합니다. 이를 위한 대안으로 입력 시퀀스가 길어지면 출력 시퀀스의 정확도가 떨어지는 것을 보정해주기 위한 등장한 기법인 어텐션(attention) 등장 - 디코더에서 출력 단어를 예측하는 매 시점(time step)마다, 인코더에서의 전체 입력 문장중 해당 시점에서 예측해야할 단어와 연관이 있는 입력 단어 부분을 좀 더 집중(attention)해서 봄 2. 어텐션 함수(Attention Function) - 어.. 2021. 6. 2. [딥러닝을이용한 자연어 처리 입문] 1502 Word-Level 번역기 만들기(Neural Machine Translation (seq2seq) Tutorial) 1. 데이터 로드 및 전처리 2. 기계 번역기 만들기 3. seq2seq 기계 번역기 동작시키기 - [딥러닝을이용한 자연어 처리 입문] 1502 Word-Level 번역기 만들기(Neural Machine Translation (seq2seq) Tutorial) 2021. 6. 1. [딥러닝을이용한 자연어 처리 입문] 1501 시퀀스-투-시퀀스(Sequence-to-Sequence, seq2seq) 1. 시퀀스-투-시퀀스(Sequence-to-Sequence) - 인코더와 디코더로 구성(두 개의 RNN 셀) - 입력 시퀀스와 출력 시퀀스의 길이가 다를 수 있다고 가정 ① 인코더(Encoder) 입력 문장을 받는 RNN 셀 모든 단어들을 순차적으로 받아 모든 단어 정보들을 압축하여 하나의 벡터 생성(context vector) context vector를 디코더(Decoder)로 전송, 이 벡터는 디코더 RNN 셀의 첫 번째 시점의 은닉 상태로 사용 됨 성능 문제로 바닐라 RNN이 아닌 LSTM 셀 또는 GRU 셀로 구성 ② 디코더(Decoder) RNNLM(RNN Language Model)로서 context vector를 받아 번역된 단어를 한 개씩 순차적으로 출력하는 RNN 셀 다음에 올 단어를.. 2021. 6. 1. [KoreaUniv DSBA] 강필성 교수: 08-1: Seq2Seq Learning (Kor) Unstructured Data Analysis 08-1: Sequence-to-Sequence Learning https://github.com/pilsung-kang/text-... 2021. 3. 5. 이전 1 2 다음
