RNN16 [딥러닝을이용한 자연어 처리 입문] 0901 순환 신경망(Recurrent Neural Network, RNN) 번역기를 생각해보면 입력은 번역하고자 하는 문장. 즉, 단어 시퀀스임. 출력에 해당되는 번역된 문장 또한 단어 시퀀스임. 이러한 시퀀스들을 처리하기 위해 고안된 모델들을 시퀀스 모델이라고 함. 그 중에서도 RNN은 딥 러닝에 있어 가장 기본적인 시퀀스 모델임 1. 순환 신경망(Recurrent Neural Network, RNN) - 은닉층의 노드에서 활성화 함수를 통해 나온 결과값을 출력층 방향으로도 보내면서, 다시 은닉층 노드의 다음 계산의 입력으로 보내는 특징을 가지고 있음 - 은닉층에서 활성화 함수를 통해 결과를 내보내는 역할을 하는 노드를 셀(cell, 메모리 셀, RNN 셀)이라고 함 - 셀은 은닉층의 메모리 셀에서 나온 값을 자신의 입력으로 사용하는 재귀적 활동을 함 - 셀이 출력층 방향으로.. 2021. 5. 20. [K-ICT 빅데이터센터] 파이썬 텐서플로우(v1.x) 딥러닝 Ch12. 깊은 신경망을 위한 딥러닝 학습-최권택교수 1. 기울기 소실 문제 2. 기울기 소실을 위한 활성화 함수 3. 효과적인 가중치 초기화 4. 학습 수렴 속도 최적화 5. TensorFlow를 이용한 실습 ★ 강의자료, 소스코드 다운받기 : https://kbig.kr/portal/kbig/datacube/... - 출처: [K-ICT 빅데이터센터] 파이썬 텐서플로우(v1.x) 딥러닝 Ch12. 깊은 신경망을 위한 딥러닝 학습-최권택교수 2021. 4. 24. [edwith] 딥러닝을 이용한 자연어 처리 : Self Attention & RNN - 조경현교수 [LECTURE] Self Attention & RNN : edwith 학습목표 문장을 표현하는 방법중 Self Attention 과 RNN 에 대해서 알아봅니다. 핵심키워드 Self Attention Recurrent Neural Network - 커넥트재단 www.edwith.org 학습내용 지난 시간이 이야기한 CNN 과 RN 의 관계를 살펴보면 아래와 같습니다. RN: 모든 다른 토큰의 관계를 봅니다. 모든 단어간의 관계를 봐서 효율적이지 못합니다. CNN: 작은 범위의 토큰의 관계를 봅니다. 따라서 더 먼 거리의 단어간의 관계가 있을 경우 탐지할 수 없거나 더 많은 convolution 층을 쌓아야합니다. 하지만 CNN 방식을 가중치가 부여된 RN의 일종으로 볼 수도 있습니다. 그렇다면 가중치가.. 2021. 3. 17. [KoreaUniv DSBA] 강필성 교수: 09-3: Document Classification - RNN (RNN 기반의 문서 분류) https://github.com/pilsung-kang/text-... 2021. 3. 9. 이전 1 2 3 4 다음
