IT 와 Social 이야기/NLP 자연어처리168 [딥러닝을이용한 자연어 처리 입문] 1801 NLP에서의 사전 훈련(Pre-training) 1. 사전 훈련된 워드 임베딩 - 워드 임베딩 방법 처음부터 학습하는 방법 이미 학습된 임베딩 벡터를 가져와 사용하는 방법 - 워드 임베딩의 단점 극복 필요 하나의 단어가 하나의 벡터값으로 맴핑되므로 문맥을 고려하지 못하여 다의어나 동음이의어를 구분하지 못하는 한계 노출 사전 훈련된 언어 모델의 적용 시작 2. 사전 훈련된 언어 모델 Word2vec ELMo GPT BERT XLNet ... - 출처 : [딥러닝을이용한 자연어 처리 입문] 1801 NLP에서의 사전 훈련(Pre-training) 2021. 6. 4. [딥러닝을이용한 자연어 처리 입문] 1703 셀프 어텐션을 이용한 텍스트 분류(Multi-head Self Attention for Text Classification) - 목표 : 트랜스포머의 인코더(셀프 어텐션이라는 메커니즘을 통해 문장을 이해)를 사용하여 텍스트 분류를 수행 1. 멀티 헤드 어텐션 2. 인코더 설계하기 3. 포지션 임베딩 4. 데이터 로드 및 전처리 5. 트랜스포머를 이용한 IMDB 리뷰 분류 - 출처 : [딥러닝을이용한 자연어 처리 입문] 1703 셀프 어텐션을 이용한 텍스트 분류(Multi-head Self Attention for Text Classification) 2021. 6. 3. [딥러닝을이용한 자연어 처리 입문] 1702 트랜스포머를 이용한 한국어 챗봇(Transformer Chatbot Tutorial) 1. 데이터 로드하기 2. 단어 집합 생성 3. 정수 인코딩과 패딩 4. 인코더와 디코더의 입력, 그리고 레이블 만들기 5. 트랜스포머 만들기 6. 챗봇 평가하기 - [딥러닝을이용한 자연어 처리 입문] 1702 트랜스포머를 이용한 한국어 챗봇(Transformer Chatbot Tutorial) 2021. 6. 3. [딥러닝을이용한 자연어 처리 입문] 1701 트랜스포머(Transformer) - 2017년 구글이 발표한 논문인 "Attention is all you need"에서 나온 모델로 기존의 seq2seq의 구조인 인코더-디코더를 따르면서도, 논문의 이름처럼 어텐션(Attention)만으로 구현한 모델 - 이 모델은 RNN을 사용하지 않고, 인코더-디코더 구조를 설계하였음에도 성능도 RNN보다 우수하다는 특징을 갖고 있음 2. 트랜스포머(Transformer)의 주요 하이퍼파라미터 - 아래에서 정의하는 수치값은 트랜스포머를 제안한 논문에서 사용한 수치값으로 하이퍼파라미터는 사용자가 모델 설계시 임의로 변경할 수 있는 값들임 - dmodel = 512 트랜스포머의 인코더와 디코더에서의 정해진 입력과 출력의 크기. 임베딩 벡터의 차원 또한 dmodel이며, 각 인코더와 디코더가 다음 층의.. 2021. 6. 3. 이전 1 2 3 4 5 6 7 ··· 42 다음
