본문 바로가기
IT 와 Social 이야기/NLP 자연어처리

자연어 처리 강의 영상 추천 : [고현웅] Large-scale LM에 대한 얕고 넓은 지식들 (part 1)

by manga0713 2021. 6. 17.

 

 

- 발표 자료 : https://github.com/jiphyeonjeon/season2/tree/main/advanced

 

★ 영상에서 다룬 내용들

  • GPT 1, 2, 3
  • BERT
  • T5
  • Switch Transformers
  • Message Passing
  • MPI, NCCL, DP
  • Ring All-reduce
  • Horovod
  • DDP
  • Mesh-tensorflow
  • Megatron-LM
  • GPipe, PipeDream, Interleaved Scheduling
  • 3D Parallelism
  • Mixed Precision
  • ZeRO, ZeRO-offload, ZeRO-infinity
  • Deep Speed
  • 1-Bit Adam
  • Progressive Layer Dropping

 

저작자표시

'IT 와 Social 이야기 > NLP 자연어처리' 카테고리의 다른 글

[DSBA] Paper Review : Semi-Supervised Text Classification with Balanced Deep Representation Distributions  (0) 2021.11.21
자연어 처리 논문 리뷰 : [나동빈] 딥러닝 기반의 최신 언어 모델(GPT)의 개인정보 유출 문제: Extracting Training Data from Large Language Models  (0) 2021.06.30
자연어 처리 강의 영상 추천 : [Ready-To-Use Tech] 자연어 처리  (0) 2021.06.16
[딥러닝을이용한 자연어 처리 입문] 2001 메모리 네트워크(Memory Network, MemN)를 이용한 QA  (0) 2021.06.07
[딥러닝을이용한 자연어 처리 입문] 1902 문장 임베딩 기반 텍스트 랭크(TextRank Based on Sentence Embedding)  (0) 2021.06.05

관련글

티스토리툴바