본문 바로가기

IT 와 Social 이야기/NLP 자연어처리163

자연어 처리 강의 영상 추천 : [고현웅] Large-scale LM에 대한 얕고 넓은 지식들 (part 1) - 발표 자료 : https://github.com/jiphyeonjeon/season2/tree/main/advanced ★ 영상에서 다룬 내용들 GPT 1, 2, 3 BERT T5 Switch Transformers Message Passing MPI, NCCL, DP Ring All-reduce Horovod DDP Mesh-tensorflow Megatron-LM GPipe, PipeDream, Interleaved Scheduling 3D Parallelism Mixed Precision ZeRO, ZeRO-offload, ZeRO-infinity Deep Speed 1-Bit Adam Progressive Layer Dropping 2021. 6. 17.
자연어 처리 강의 영상 추천 : [Ready-To-Use Tech] 자연어 처리 1차 : 자연어 처리 개요 및 Bag of words 와 TFIDF - 코드: https://github.com/kiyoungkim1/ReadyT... 2차 : word2vec, fasttext와 doc2vec - 코드 : https://github.com/kiyoungkim1/ReadyT... 3차 : transformers - 코드 : https://github.com/kiyoungkim1/ReadyT... 4차 : huggingface 라이브러리 코드 : https://github.com/kiyoungkim1/ReadyT... 2021. 6. 16.
[딥러닝을이용한 자연어 처리 입문] 2001 메모리 네트워크(Memory Network, MemN)를 이용한 QA 1. Babi 데이터셋 - 총 20가지의 질문 내용으로 구성 시간 순서대로 나열된 텍스트 문장 정보와 그에 대한 질문으로 구성 텍스트 정보에 대해 질문을 하고 응답하는 형태 다운로드 페이지 : https://research.fb.com/downloads/babi/ 2. 메모리 네트워크 구조 - 예측 과정 : 입력되는 스토리 문장을 Value와 Key, 질문 문장을 Query라고 하면 Query는 Key와 유사도를 구하고, 소프트맥스 함수를 통해 값을 정규화하여 Value에 더해서 이 유사도값을 반영해 줌(어텐션 메커니즘) 이 스토리 문장 표현을 질문 문장을 임베딩한 질문 표현과 연결(concatenate)해줌 이 표현을 LSTM과 밀집층(dense layer)의 입력으로 사용하여 정답을 예측 3. Bab.. 2021. 6. 7.
[딥러닝을이용한 자연어 처리 입문] 1902 문장 임베딩 기반 텍스트 랭크(TextRank Based on Sentence Embedding) 1. 텍스트랭크(TextRank) - 페이지랭크를 기반으로 한 텍스트 요약 알고리즘 - 그래프의 노드들은 문장들이며, 각 간선의 가중치는 문장들 간의 유사도를 의미 2. 사전 훈련된 임베딩(Pre-trained Embedding) 3. 문장 임베딩(Sentence Embedding) 4. 텍스트 랭크를 이용한 텍스트 요약 - [딥러닝을이용한 자연어 처리 입문] 1902 문장 임베딩 기반 텍스트 랭크(TextRank Based on Sentence Embedding) 2021. 6. 5.