딥러닝131 [딥러닝을이용한 자연어 처리 입문] 0904 케라스의 SimpleRNN과 LSTM 이해하기 1. 임의의 입력 생성하기 2. SimpleRNN 이해하기 3. LSTM 이해하기 4. Bidirectional(LSTM) 이해하기 - 출처 : [딥러닝을이용한 자연어 처리 입문] 0904 케라스의 SimpleRNN과 LSTM 이해하기 2021. 5. 20. [딥러닝을이용한 자연어 처리 입문] 0903 게이트 순환 유닛(Gate Recurrent Unit, GRU) 1. GRU(Gated Recurrent Unit) - 업데이트 게이트와 리셋 게이트 두 가지 게이트만이 존재 2. LSTM vs. GRU - 데이터 양이 적을 때는, 매개 변수의 양이 적은 GRU가 조금 더 낫고, 데이터 양이 더 많으면 LSTM이 더 낫다고 알려져 있음 2021. 5. 20. [딥러닝을이용한 자연어 처리 입문] 0902 장단기 메모리(Long Short-Term Memory, LSTM) 1. 바닐라 RNN의 한계 - 바닐라 RNN의 시점(time step)이 길어질 수록 앞의 정보가 뒤로 충분히 전달되지 못하는 현상이 발생하여 비교적 짧은 시퀀스(sequence)에 대해서만 효과를 보이는 단점이 있음. --> 장기 의존성 문제(the problem of Log-Term Dependencies) 3. LSTM(Long Short-Term Memory) - 셀 상태(cell state)라는 값을 추가하여 불필요한 기억을 지우고, 기억해야할 것들을 정함 - 셀 상태 또한 이전에 배운 은닉 상태처럼 이전 시점의 셀 상태가 다음 시점의 셀 상태를 구하기 위한 입력으로서 사용함 - 은닉 상태값과 셀 상태값을 구하기 위해서 새로 추가 된 3개의 게이트를 사용. 각 게이트는 입력 게이트, 삭제 게이트.. 2021. 5. 20. [딥러닝을이용한 자연어 처리 입문] 0901 순환 신경망(Recurrent Neural Network, RNN) 번역기를 생각해보면 입력은 번역하고자 하는 문장. 즉, 단어 시퀀스임. 출력에 해당되는 번역된 문장 또한 단어 시퀀스임. 이러한 시퀀스들을 처리하기 위해 고안된 모델들을 시퀀스 모델이라고 함. 그 중에서도 RNN은 딥 러닝에 있어 가장 기본적인 시퀀스 모델임 1. 순환 신경망(Recurrent Neural Network, RNN) - 은닉층의 노드에서 활성화 함수를 통해 나온 결과값을 출력층 방향으로도 보내면서, 다시 은닉층 노드의 다음 계산의 입력으로 보내는 특징을 가지고 있음 - 은닉층에서 활성화 함수를 통해 결과를 내보내는 역할을 하는 노드를 셀(cell, 메모리 셀, RNN 셀)이라고 함 - 셀은 은닉층의 메모리 셀에서 나온 값을 자신의 입력으로 사용하는 재귀적 활동을 함 - 셀이 출력층 방향으로.. 2021. 5. 20. 이전 1 ··· 3 4 5 6 7 8 9 ··· 33 다음
