1. 바닐라 RNN의 한계
- 바닐라 RNN의 시점(time step)이 길어질 수록 앞의 정보가 뒤로 충분히 전달되지 못하는 현상이 발생하여 비교적 짧은 시퀀스(sequence)에 대해서만 효과를 보이는 단점이 있음. --> 장기 의존성 문제(the problem of Log-Term Dependencies)
3. LSTM(Long Short-Term Memory)
- 셀 상태(cell state)라는 값을 추가하여 불필요한 기억을 지우고, 기억해야할 것들을 정함
- 셀 상태 또한 이전에 배운 은닉 상태처럼 이전 시점의 셀 상태가 다음 시점의 셀 상태를 구하기 위한 입력으로서 사용함
- 은닉 상태값과 셀 상태값을 구하기 위해서 새로 추가 된 3개의 게이트를 사용. 각 게이트는 입력 게이트, 삭제 게이트, 출력 게이트라고 부르며 이 3개의 게이트에는 공통적으로 시그모이드 함수가 존재. 시그모이드 함수를 지나면 0과 1사이의 값이 나오게 되는데 이 값들을 가지고 게이트를 조절
- 입력 게이트 : 현재 정보를 기억
- 삭제 게이트 : 기억을 삭제
- 출력 게이트 : 현재 시점 t의 x값과 이전 시점 t-1의 은닉 상태가 시그모이드 함수를 지난 값
- 출처 : [딥러닝을이용한 자연어 처리 입문] 0902 장단기 메모리(Long Short-Term Memory, LSTM)
'IT 와 Social 이야기 > NLP 자연어처리' 카테고리의 다른 글
[딥러닝을이용한 자연어 처리 입문] 0904 케라스의 SimpleRNN과 LSTM 이해하기 (0) | 2021.05.20 |
---|---|
[딥러닝을이용한 자연어 처리 입문] 0903 게이트 순환 유닛(Gate Recurrent Unit, GRU) (0) | 2021.05.20 |
[딥러닝을이용한 자연어 처리 입문] 0901 순환 신경망(Recurrent Neural Network, RNN) (0) | 2021.05.20 |
수식어 없는 인생 (0) | 2021.05.20 |
[딥러닝을이용한 자연어 처리 입문] 0810 피드 포워드 신경망 언어 모델(Neural Network Language Model, NNLM) (0) | 2021.05.19 |