IT 와 Social 이야기/NLP 자연어처리168 자연어 처리 논문 리뷰 : [나동빈] 딥러닝 기반의 최신 언어 모델(GPT)의 개인정보 유출 문제: Extracting Training Data from Large Language Models ● 리뷰하신 나동빈님의 설명 요약 - 오늘 영상에서 다루는 논문은 GPT-2처럼 큰 언어 모델(large language model)에서 학습 데이터(training data)를 추출하는 공격 방법을 제안합니다. - 본 논문은 2020년 12월에 출간되었으며, 다양한 AI 서비스에서 널리 쓰이고 있는 "학습된 GPT-2 네트워크로부터 해당 네트워크가 학습 당시에 사용했던 개인정보가 포함된 학습 데이터"를 추출하는 것이 가능함을 보였습니다. - 본 논문에서 제안한 메서드는 언어 모델을 기반으로 하는 서비스가 배포되기 전에, 모델의 취약점을 분석하기 위한 목적으로 효과적으로 사용될 수 있습니다. ● 학습 기대 효과 ① 딥러닝 기반의 큰 언어 모델에 대한 개인정보 추출 공격 방법을 이해할 수 있습니다. ② 언.. 2021. 6. 30. 자연어 처리 강의 영상 추천 : [고현웅] Large-scale LM에 대한 얕고 넓은 지식들 (part 1) - 발표 자료 : https://github.com/jiphyeonjeon/season2/tree/main/advanced ★ 영상에서 다룬 내용들 GPT 1, 2, 3 BERT T5 Switch Transformers Message Passing MPI, NCCL, DP Ring All-reduce Horovod DDP Mesh-tensorflow Megatron-LM GPipe, PipeDream, Interleaved Scheduling 3D Parallelism Mixed Precision ZeRO, ZeRO-offload, ZeRO-infinity Deep Speed 1-Bit Adam Progressive Layer Dropping 2021. 6. 17. 자연어 처리 강의 영상 추천 : [Ready-To-Use Tech] 자연어 처리 1차 : 자연어 처리 개요 및 Bag of words 와 TFIDF - 코드: https://github.com/kiyoungkim1/ReadyT... 2차 : word2vec, fasttext와 doc2vec - 코드 : https://github.com/kiyoungkim1/ReadyT... 3차 : transformers - 코드 : https://github.com/kiyoungkim1/ReadyT... 4차 : huggingface 라이브러리 코드 : https://github.com/kiyoungkim1/ReadyT... 2021. 6. 16. [딥러닝을이용한 자연어 처리 입문] 2001 메모리 네트워크(Memory Network, MemN)를 이용한 QA 1. Babi 데이터셋 - 총 20가지의 질문 내용으로 구성 시간 순서대로 나열된 텍스트 문장 정보와 그에 대한 질문으로 구성 텍스트 정보에 대해 질문을 하고 응답하는 형태 다운로드 페이지 : https://research.fb.com/downloads/babi/ 2. 메모리 네트워크 구조 - 예측 과정 : 입력되는 스토리 문장을 Value와 Key, 질문 문장을 Query라고 하면 Query는 Key와 유사도를 구하고, 소프트맥스 함수를 통해 값을 정규화하여 Value에 더해서 이 유사도값을 반영해 줌(어텐션 메커니즘) 이 스토리 문장 표현을 질문 문장을 임베딩한 질문 표현과 연결(concatenate)해줌 이 표현을 LSTM과 밀집층(dense layer)의 입력으로 사용하여 정답을 예측 3. Bab.. 2021. 6. 7. 이전 1 2 3 4 5 ··· 42 다음
