[딥러닝을이용한 자연어 처리 입문] 1803 코랩(Colab)에서 TPU 사용하기

[ 이미지 출처 : inaccel.com - CPU, GPU, FPGA or TPU: Which one to choose for my Machine Learning training? ]

 

 

1. 코랩(Colab)에서 TPU를 선택

 

- Colab에서 런타임 > 런타임 유형 변경 > 하드웨어 가속기에서 'TPU' 선택

 

2. TPU 초기화

 

- 딥 러닝 모델을 정의하기 전에 아래의 설정을 미리 해주어야 함

 

 

3. TPU Strategy 셋팅

 

- tf.distribute.Strategy는 훈련을 여러 GPU 또는 여러 장비, 여러 TPU로 나누어 처리하기 위한 텐서플로 API로서 이 API를 사용하면 기존의 모델이나 훈련 코드를 분산처리를 할 수 있음

 

 

4. 딥 러닝 모델의 정의

 

- 모델 생성은 strategy.scope 내에서 이루어져야 함

 

- 모델을 정의하는 함수를 만들어 strategy.scope 내에서 해당 함수를 호출하여 모델을 컴파일하는 방식으로 하면 됨

 

- 이 후 이 모델을 fit()하게되면 해당 모델은 TPU를 사용하게 됨

 

 

nlp_1803_use_tpu_in_colab.ipynb

0.00MB

 

- [딥러닝을이용한 자연어 처리 입문] 1803 코랩(Colab)에서 TPU 사용하기