본문 바로가기

자연어 처리116

자연어 처리 강의 영상 추천 : [고현웅] Large-scale LM에 대한 얕고 넓은 지식들 (part 1) - 발표 자료 : https://github.com/jiphyeonjeon/season2/tree/main/advanced ★ 영상에서 다룬 내용들 GPT 1, 2, 3 BERT T5 Switch Transformers Message Passing MPI, NCCL, DP Ring All-reduce Horovod DDP Mesh-tensorflow Megatron-LM GPipe, PipeDream, Interleaved Scheduling 3D Parallelism Mixed Precision ZeRO, ZeRO-offload, ZeRO-infinity Deep Speed 1-Bit Adam Progressive Layer Dropping 2021. 6. 17.
[딥러닝을이용한 자연어 처리 입문] 2001 메모리 네트워크(Memory Network, MemN)를 이용한 QA 1. Babi 데이터셋 - 총 20가지의 질문 내용으로 구성 시간 순서대로 나열된 텍스트 문장 정보와 그에 대한 질문으로 구성 텍스트 정보에 대해 질문을 하고 응답하는 형태 다운로드 페이지 : https://research.fb.com/downloads/babi/ 2. 메모리 네트워크 구조 - 예측 과정 : 입력되는 스토리 문장을 Value와 Key, 질문 문장을 Query라고 하면 Query는 Key와 유사도를 구하고, 소프트맥스 함수를 통해 값을 정규화하여 Value에 더해서 이 유사도값을 반영해 줌(어텐션 메커니즘) 이 스토리 문장 표현을 질문 문장을 임베딩한 질문 표현과 연결(concatenate)해줌 이 표현을 LSTM과 밀집층(dense layer)의 입력으로 사용하여 정답을 예측 3. Bab.. 2021. 6. 7.
[딥러닝을이용한 자연어 처리 입문] 1902 문장 임베딩 기반 텍스트 랭크(TextRank Based on Sentence Embedding) 1. 텍스트랭크(TextRank) - 페이지랭크를 기반으로 한 텍스트 요약 알고리즘 - 그래프의 노드들은 문장들이며, 각 간선의 가중치는 문장들 간의 유사도를 의미 2. 사전 훈련된 임베딩(Pre-trained Embedding) 3. 문장 임베딩(Sentence Embedding) 4. 텍스트 랭크를 이용한 텍스트 요약 - [딥러닝을이용한 자연어 처리 입문] 1902 문장 임베딩 기반 텍스트 랭크(TextRank Based on Sentence Embedding) 2021. 6. 5.
[딥러닝을이용한 자연어 처리 입문] 1901 어텐션을 이용한 텍스트 요약(Text Summarization with Attention mechanism) 1. 텍스트 요약(Text Summarization) - 추출적 요약(extractive summarization) - 추상적 요약(abstractive summarization) 1) 추출적 요약(extractive summarization) - 원문에서 중요한 핵심 문장 또는 단어구를 몇 개 뽑아서 이들로 구성된 요약문을 만드는 방법 - 따라서 요약문의 문장이나 단어구들은 전부 원문에 있는 문장들 2) 추상적 요약(abstractive summarization) - 원문에 없던 문장이라도 핵심 문맥을 반영한 새로운 문장을 생성해서 원문을 요약하는 방법 - 마치 사람이 요약하는 것 같은 방식 - 인공 신경망으로 훈련하기 위해서는 '원문' 뿐만 아니라 '실제 요약문'이라는 레이블 데이터가 있어야 함 2... 2021. 6. 4.

티스토리툴바