본문 바로가기

파이썬406

[딥러닝을이용한 자연어 처리 입문] 1901 어텐션을 이용한 텍스트 요약(Text Summarization with Attention mechanism) 1. 텍스트 요약(Text Summarization) - 추출적 요약(extractive summarization) - 추상적 요약(abstractive summarization) 1) 추출적 요약(extractive summarization) - 원문에서 중요한 핵심 문장 또는 단어구를 몇 개 뽑아서 이들로 구성된 요약문을 만드는 방법 - 따라서 요약문의 문장이나 단어구들은 전부 원문에 있는 문장들 2) 추상적 요약(abstractive summarization) - 원문에 없던 문장이라도 핵심 문맥을 반영한 새로운 문장을 생성해서 원문을 요약하는 방법 - 마치 사람이 요약하는 것 같은 방식 - 인공 신경망으로 훈련하기 위해서는 '원문' 뿐만 아니라 '실제 요약문'이라는 레이블 데이터가 있어야 함 2... 2021. 6. 4.
[딥러닝을이용한 자연어 처리 입문] 1803 코랩(Colab)에서 TPU 사용하기 1. 코랩(Colab)에서 TPU를 선택 - Colab에서 런타임 > 런타임 유형 변경 > 하드웨어 가속기에서 'TPU' 선택 2. TPU 초기화 - 딥 러닝 모델을 정의하기 전에 아래의 설정을 미리 해주어야 함 3. TPU Strategy 셋팅 - tf.distribute.Strategy는 훈련을 여러 GPU 또는 여러 장비, 여러 TPU로 나누어 처리하기 위한 텐서플로 API로서 이 API를 사용하면 기존의 모델이나 훈련 코드를 분산처리를 할 수 있음 4. 딥 러닝 모델의 정의 - 모델 생성은 strategy.scope 내에서 이루어져야 함 - 모델을 정의하는 함수를 만들어 strategy.scope 내에서 해당 함수를 호출하여 모델을 컴파일하는 방식으로 하면 됨 - 이 후 이 모델을 fit()하게되.. 2021. 6. 4.
[딥러닝을이용한 자연어 처리 입문] 1802 버트(Bidirectional Encoder Representations from Transformers, BERT) 1. BERT의 개요 - 트랜스포머를 이용하여 구현되었으며, 위키피디아(25억 단어)와 BooksCorpus(8억 단어)와 같은 레이블이 없는 텍스트 데이터로 사전 훈련 및 파인 튜닝(Fine-tuning)된 언어 모델 2. BERT의 크기 - 기본 구조는 트랜스포머의 인코더를 쌓아올린 구조 3. BERT의 문맥을 반영한 임베딩(Contextual Embedding) - 문맥을 반영한 임베딩(Contextual Embedding)을 사용 - 하나의 단어가 모든 단어를 참고하는 연산은 BERT의 12개의 층에서 전부 이루어짐 4. BERT의 서브워드 토크나이저 : WordPiece - 단어보다 더 작은 단위로 쪼개는 서브워드 토크나이저를 사용(WordPiece 토크나이저) - 자주 등장하지 않는 단어의 경.. 2021. 6. 4.
[딥러닝을이용한 자연어 처리 입문] 1801 NLP에서의 사전 훈련(Pre-training) 1. 사전 훈련된 워드 임베딩 - 워드 임베딩 방법 처음부터 학습하는 방법 이미 학습된 임베딩 벡터를 가져와 사용하는 방법 - 워드 임베딩의 단점 극복 필요 하나의 단어가 하나의 벡터값으로 맴핑되므로 문맥을 고려하지 못하여 다의어나 동음이의어를 구분하지 못하는 한계 노출 사전 훈련된 언어 모델의 적용 시작 2. 사전 훈련된 언어 모델 Word2vec ELMo GPT BERT XLNet ... - 출처 : [딥러닝을이용한 자연어 처리 입문] 1801 NLP에서의 사전 훈련(Pre-training) 2021. 6. 4.

티스토리툴바