언어 모델 트렌드1 자연어 처리 강의 영상 추천 : [고현웅] Large-scale LM에 대한 얕고 넓은 지식들 (part 1) - 발표 자료 : https://github.com/jiphyeonjeon/season2/tree/main/advanced ★ 영상에서 다룬 내용들 GPT 1, 2, 3 BERT T5 Switch Transformers Message Passing MPI, NCCL, DP Ring All-reduce Horovod DDP Mesh-tensorflow Megatron-LM GPipe, PipeDream, Interleaved Scheduling 3D Parallelism Mixed Precision ZeRO, ZeRO-offload, ZeRO-infinity Deep Speed 1-Bit Adam Progressive Layer Dropping 2021. 6. 17. 이전 1 다음