[ETRI] 경량 딥러닝 Lightweight Deep Learning 기술 동향

 

 

 

 

*** 출처: [ETRI] 경량 딥러닝 Lightweight Deep Learning 기술 동향 Recent R&D Trends for Lightweight Deep Learning

 

- 이용주 (Y.J. Lee, yongju@etri.re.kr) 스마트데이터연구그룹 책임연구원/PL
- 문용혁 (Y.H. Moon, yhmoon@etri.re.kr) 스마트데이터연구그룹 선임연구원
- 박준용 (J.Y. Park, junyong.park@etri.re.kr) 스마트데이터연구그룹 연구원
- 민옥기 (O.G. Min, ogmin@etri.re.kr) 스마트데이터연구그룹 책임연구원/그룹장

 

 

*** 문서:

34-2_40-50.pdf

 

 

 

 

I. 서론

 

 

○ 경량 딥러닝(Lightweight Deep Learning)

 

- 기존의 학습된 모델의 정확도를 유지하면서 보다 크기가 작고, 연산을 간소화하는 연구

 

- 기존의 딥러닝을 통해 생성된 모델을 다양한 기법으로 줄여서(예. 크기, 에너지 소모 등) 정확도를 유지하면서 다양한 경량 디바이스에서 내장 하여 추론을 가능하게 하는 기술

 

- 경량 딥러닝 연구는 기존 클라우드 기반의 학습된 모델을 경량 장치에 내장하기 위한 필수 기술이며, 이를 통해 지연시간 감소, 민감한 개인 정보 보호, 네트워크 트래픽 감소 같은 다양한 이점을 갖게 됨

 

- 경량 딥러닝 기술은 알고리즘 자체를 적은 연산과 효율적인 구조로 설계하여, 기존 모델 대비 효율을 극대화하기 위한 경량 딥러닝 알고리즘 연구와 만들어진 모델의 파라미터들을 줄이는 모델 압축(Model Compression) 등의 기법이 적용된 알고리즘 경량화 기술로 나눌 수 있음

 

- 가장 일반화된 합성곱신경망(CNN: Convolutional Neural Network)을 통해 다양한 연구가 진행 중

 

 

○ 경량 딥러닝 연구 동향

 

 

 

 

 

II. 경량 딥러닝 알고리즘

 

1. 모델 구조 변경 기술

 

- 레즈넷

- 덴스넷

- 스퀴즈넷

 

 

2. 효율적인 합성곱 필터 기술

 

- 모바일넷

- 셔플넷

 

 

3. 경량 모델 자동 탐색 기술

 

- 넷어탭트

- 엠나스넷

 

 

 

III. 알고리즘 경량화

 

1. 모델 압축 기술

 

- 가중치 가지치기

- 양자화 및 이진화

- 가중치 공유

 

 

2. 지식 증류 기술

 

3. 하드웨어 가속화 기술

 

4. 모델 압축을 적용한 경량 모델 자동 탐색 기술