본문 바로가기
IT 와 Social 이야기/NLP 자연어처리

자연어 처리 강의 영상 추천 : [고현웅] Large-scale LM에 대한 얕고 넓은 지식들 (part 1)

by manga0713 2021. 6. 17.

 

 

- 발표 자료 : https://github.com/jiphyeonjeon/season2/tree/main/advanced

 

★ 영상에서 다룬 내용들

  • GPT 1, 2, 3
  • BERT
  • T5
  • Switch Transformers
  • Message Passing
  • MPI, NCCL, DP
  • Ring All-reduce
  • Horovod
  • DDP
  • Mesh-tensorflow
  • Megatron-LM
  • GPipe, PipeDream, Interleaved Scheduling
  • 3D Parallelism
  • Mixed Precision
  • ZeRO, ZeRO-offload, ZeRO-infinity
  • Deep Speed
  • 1-Bit Adam
  • Progressive Layer Dropping