본문 바로가기

파이썬406

[딥러닝을이용한 자연어 처리 입문] 0901 순환 신경망(Recurrent Neural Network, RNN) 번역기를 생각해보면 입력은 번역하고자 하는 문장. 즉, 단어 시퀀스임. 출력에 해당되는 번역된 문장 또한 단어 시퀀스임. 이러한 시퀀스들을 처리하기 위해 고안된 모델들을 시퀀스 모델이라고 함. 그 중에서도 RNN은 딥 러닝에 있어 가장 기본적인 시퀀스 모델임 1. 순환 신경망(Recurrent Neural Network, RNN) - 은닉층의 노드에서 활성화 함수를 통해 나온 결과값을 출력층 방향으로도 보내면서, 다시 은닉층 노드의 다음 계산의 입력으로 보내는 특징을 가지고 있음 - 은닉층에서 활성화 함수를 통해 결과를 내보내는 역할을 하는 노드를 셀(cell, 메모리 셀, RNN 셀)이라고 함 - 셀은 은닉층의 메모리 셀에서 나온 값을 자신의 입력으로 사용하는 재귀적 활동을 함 - 셀이 출력층 방향으로.. 2021. 5. 20.
[딥러닝을이용한 자연어 처리 입문] 0810 피드 포워드 신경망 언어 모델(Neural Network Language Model, NNLM) 1. 기존 N-gram 언어 모델의 한계 - 언어 모델은 충분한 데이터를 관측하지 못하면 언어를 정확히 모델링하지 못하는 희소 문제(sparsity problem)가 있음 2. 단어의 의미적 유사성 - 희소 문제는 기계가 단어 간 유사도를 알수 있다면 해결할 수 있는 문제임 - 언어 모델이 단어의 유사도를 학습할 수 있도록 설계한다면, 훈련 코퍼스에 없는 단어 시퀀스에 대한 예측이라도 유사한 단어가 사용된 단어 시퀀스를 참고하여 보다 정확한 예측을 할 수 있음 - 이런 아이디어를 가지고 탄생한 언어 모델이 신경망 언어 모델 NNLM임 3. 피드 포워드 신경망 언어 모델(NNLM) - 'what will the fat cat'를 입력을 받아서 'sit'을 예측하는 일은 기계에게 실제로는 what, will.. 2021. 5. 19.
[딥러닝을이용한 자연어 처리 입문] 0809 다층 퍼셉트론(MultiLayer Perceptron, MLP)으로 텍스트 분류하기 1. 다층 퍼셉트론(MultiLayer Perceptron, MLP) - 단층 퍼셉트론의 형태에서 은닉층이 1개 이상 추가된 신경망 2. 케라스의 text_to_matrix() 이해하기 3. 20개 뉴스 그룹(Twenty Newsgroups) 데이터에 대한 이해 4. 다층 퍼셉트론(Multilayer Perceptron, MLP)을 사용하여 텍스트 분류하기 - 출처 : [딥러닝을이용한 자연어 처리 입문] 0809 다층 퍼셉트론(MultiLayer Perceptron, MLP)으로 텍스트 분류하기 2021. 5. 19.
[딥러닝을이용한 자연어 처리 입문] 0808 케라스 서브클래싱 API(Keras Subclassing API) 케라스의 구현 방식 : Sequential API, Functional API, Subclassing API 1. 서브클래싱 API로 구현한 선형 회귀 2. 언제 서브클래싱 API를 써야 할까? - Subclassing API로는 Functional API가 구현할 수 없는 모델들조차 구현할 수 있는 경우가 있음 - 그러나 대부분의 딥 러닝 모델은 Functional API 수준에서도 전부 구현이 가능 하므로 서브클래싱 API는 밑바닥부터 새로운 수준의 아키텍처를 구현해야 하는 실험적 연구를 하는 연구자들에게 적합 함 3. 세 가지 구현 방식 비교 1) Sequential API 장점 : 단순하게 층을 쌓는 방식으로 쉽고 사용하기가 간단 단점 : 다수의 입력(multi-input), 다수의 출력(mult.. 2021. 5. 19.

티스토리툴바