Transformer4 [딥러닝을이용한 자연어 처리 입문] 1702 트랜스포머를 이용한 한국어 챗봇(Transformer Chatbot Tutorial) 1. 데이터 로드하기 2. 단어 집합 생성 3. 정수 인코딩과 패딩 4. 인코더와 디코더의 입력, 그리고 레이블 만들기 5. 트랜스포머 만들기 6. 챗봇 평가하기 - [딥러닝을이용한 자연어 처리 입문] 1702 트랜스포머를 이용한 한국어 챗봇(Transformer Chatbot Tutorial) 2021. 6. 3. [딥러닝을이용한 자연어 처리 입문] 1701 트랜스포머(Transformer) - 2017년 구글이 발표한 논문인 "Attention is all you need"에서 나온 모델로 기존의 seq2seq의 구조인 인코더-디코더를 따르면서도, 논문의 이름처럼 어텐션(Attention)만으로 구현한 모델 - 이 모델은 RNN을 사용하지 않고, 인코더-디코더 구조를 설계하였음에도 성능도 RNN보다 우수하다는 특징을 갖고 있음 2. 트랜스포머(Transformer)의 주요 하이퍼파라미터 - 아래에서 정의하는 수치값은 트랜스포머를 제안한 논문에서 사용한 수치값으로 하이퍼파라미터는 사용자가 모델 설계시 임의로 변경할 수 있는 값들임 - dmodel = 512 트랜스포머의 인코더와 디코더에서의 정해진 입력과 출력의 크기. 임베딩 벡터의 차원 또한 dmodel이며, 각 인코더와 디코더가 다음 층의.. 2021. 6. 3. [KoreaUniv DSBA] 강필성 교수: 08-2: Transformer (Kor) Unstructured Data Analysis 08-2: Transformer - Self-attention - Multi-headed self-attention - positional encoding https://github.com/pilsung-kang/text-... 2021. 3. 5. 제가 바로 트랜스포머 Transformer 입니다 ^^ [이미지 출처 : ieee Spectrum] 위 그림만 보시고도 직감하실 수 있으시죠? 네, 맞습니다. 평지나 평탄한 곳을 이동할 때는 바퀴를 이용하고요, 그렇지 못한 곳에서는 바퀴가 4개의 발로 변해 걸어가게 되는 것이지요. 대만의 National Taiwan University 학생들이 만든 로보트입니다. 일종의 하이브리드 모바일 로보트 Hybrid Mobile Robot 입니다. 비디오를 통해서 이 아이의 메카니즘 등과 움직이는 모습을 보시겠습니다. (소리가 없는 것이 좀 아쉽습니다.) 어떠십니까? 움직이는 모습이 위태해 보이기도 하고 뒤뚱거리는 것이 귀엽기도 하고 그렇네요. ^^ 계단을 올라가는 모습은, 마치 두꺼비 같기도 하고요. 이런 류의 특히 바퀴가 다리/발 로 바뀌는 로봇을 "whegs"라.. 2011. 3. 25. 이전 1 다음
