본문 바로가기

파이썬406

[딥러닝을이용한 자연어 처리 입문] 0906 RNN을 이용한 텍스트 생성(Text Generation using RNN) 1. RNN을 이용하여 텍스트 생성하기 - 예시문장 ① 경마장에 있는 말이 뛰고 있다 ② 그의 말이 법이다 ③ 가는 말이 고와야 오는 말이 곱다 - 데이터 재구성 samples X y 1 경마장에 있는 2 경마장에 있는 말이 3 경마장에 있는 말이 뛰고 4 경마장에 있는 말이 뛰고 있다 5 그의 말이 6 그의 말이 법이다 7 가는 말이 8 가는 말이 고와야 9 가는 말이 고와야 오는 10 가는 말이 고와야 오는 말이 11 가는 말이 고와야 오는 말이 곱다 2. LSTM을 이용하여 텍스트 생성하기 - 사용할 데이터 파일 다운로드 : https://www.kaggle.com/aashita/nyt-comments - 출처 : [딥러닝을이용한 자연어 처리 입문] 0906 RNN을 이용한 텍스트 생성(Text G.. 2021. 5. 20.
[딥러닝을이용한 자연어 처리 입문] 0904 케라스의 SimpleRNN과 LSTM 이해하기 1. 임의의 입력 생성하기 2. SimpleRNN 이해하기 3. LSTM 이해하기 4. Bidirectional(LSTM) 이해하기 - 출처 : [딥러닝을이용한 자연어 처리 입문] 0904 케라스의 SimpleRNN과 LSTM 이해하기 2021. 5. 20.
[딥러닝을이용한 자연어 처리 입문] 0903 게이트 순환 유닛(Gate Recurrent Unit, GRU) 1. GRU(Gated Recurrent Unit) - 업데이트 게이트와 리셋 게이트 두 가지 게이트만이 존재 2. LSTM vs. GRU - 데이터 양이 적을 때는, 매개 변수의 양이 적은 GRU가 조금 더 낫고, 데이터 양이 더 많으면 LSTM이 더 낫다고 알려져 있음 2021. 5. 20.
[딥러닝을이용한 자연어 처리 입문] 0902 장단기 메모리(Long Short-Term Memory, LSTM) 1. 바닐라 RNN의 한계 - 바닐라 RNN의 시점(time step)이 길어질 수록 앞의 정보가 뒤로 충분히 전달되지 못하는 현상이 발생하여 비교적 짧은 시퀀스(sequence)에 대해서만 효과를 보이는 단점이 있음. --> 장기 의존성 문제(the problem of Log-Term Dependencies) 3. LSTM(Long Short-Term Memory) - 셀 상태(cell state)라는 값을 추가하여 불필요한 기억을 지우고, 기억해야할 것들을 정함 - 셀 상태 또한 이전에 배운 은닉 상태처럼 이전 시점의 셀 상태가 다음 시점의 셀 상태를 구하기 위한 입력으로서 사용함 - 은닉 상태값과 셀 상태값을 구하기 위해서 새로 추가 된 3개의 게이트를 사용. 각 게이트는 입력 게이트, 삭제 게이트.. 2021. 5. 20.

티스토리툴바