트랜스포머4 [딥러닝을이용한 자연어 처리 입문] 1703 셀프 어텐션을 이용한 텍스트 분류(Multi-head Self Attention for Text Classification) - 목표 : 트랜스포머의 인코더(셀프 어텐션이라는 메커니즘을 통해 문장을 이해)를 사용하여 텍스트 분류를 수행 1. 멀티 헤드 어텐션 2. 인코더 설계하기 3. 포지션 임베딩 4. 데이터 로드 및 전처리 5. 트랜스포머를 이용한 IMDB 리뷰 분류 - 출처 : [딥러닝을이용한 자연어 처리 입문] 1703 셀프 어텐션을 이용한 텍스트 분류(Multi-head Self Attention for Text Classification) 2021. 6. 3. [딥러닝을이용한 자연어 처리 입문] 1702 트랜스포머를 이용한 한국어 챗봇(Transformer Chatbot Tutorial) 1. 데이터 로드하기 2. 단어 집합 생성 3. 정수 인코딩과 패딩 4. 인코더와 디코더의 입력, 그리고 레이블 만들기 5. 트랜스포머 만들기 6. 챗봇 평가하기 - [딥러닝을이용한 자연어 처리 입문] 1702 트랜스포머를 이용한 한국어 챗봇(Transformer Chatbot Tutorial) 2021. 6. 3. [딥러닝을이용한 자연어 처리 입문] 1701 트랜스포머(Transformer) - 2017년 구글이 발표한 논문인 "Attention is all you need"에서 나온 모델로 기존의 seq2seq의 구조인 인코더-디코더를 따르면서도, 논문의 이름처럼 어텐션(Attention)만으로 구현한 모델 - 이 모델은 RNN을 사용하지 않고, 인코더-디코더 구조를 설계하였음에도 성능도 RNN보다 우수하다는 특징을 갖고 있음 2. 트랜스포머(Transformer)의 주요 하이퍼파라미터 - 아래에서 정의하는 수치값은 트랜스포머를 제안한 논문에서 사용한 수치값으로 하이퍼파라미터는 사용자가 모델 설계시 임의로 변경할 수 있는 값들임 - dmodel = 512 트랜스포머의 인코더와 디코더에서의 정해진 입력과 출력의 크기. 임베딩 벡터의 차원 또한 dmodel이며, 각 인코더와 디코더가 다음 층의.. 2021. 6. 3. [KoreaUniv DSBA] 강필성 교수: 08-2: Transformer (Kor) Unstructured Data Analysis 08-2: Transformer - Self-attention - Multi-headed self-attention - positional encoding https://github.com/pilsung-kang/text-... 2021. 3. 5. 이전 1 다음
