[ITFIND] 인공지능 전이학습(Transfer Learning)과 응용 분야 동향

 

 

[ Traditional ML vs. Transfer Learning ]

 

 

 

 

[출처: [ITFIND 주간기술동향 "인공지능 전이학습과 응용 분야 동향 - 강수철 (주)롯데정보통신 정보기술연구소 수석연구원]]

 

 

 

I. 서론

 

 

- 알파고를 만든 아버지로 불리는 데미스 하사비스(Demis Hassabis)는 알파고를 업그레이드시킨 알파고 제로(AlphaGo Zero)를 2017년에 내놓고 이에 대한 의학 분야 응용을 위해 적용한 전이학습(Transfer Learning) 기술에 대해 다음과 같이 언급하였다. “전이학습이 일반 인공지능으로 가는 열쇠가 될 것이라 생각합니다. 이를 위해서는 우선 학습한 사실에서 인지적인 세부사항을 추상화해야 합니다. 그리고 여기에서 개념적인 지식을 획득하는 것이 전이학습을 할 수 있는 핵심입니다.”

 

- 알파고는 방대한 인간의 기보와 바둑의 기본 원리를 데이터로 삼아 학습하며 정책망(Policy Network)과 가치망(Value Network)이란 두 인공 신경망에다 강화학습(Reinforcement Learning)을 결합해 최적의 승률을 계산해내는 방식으로 구동되었던 반면,

 

- 알파고 제로 (AlphaGo Zero)는 어떤 데이터도 없이 아예 백지 상태에서 수많은 강화학습을 통해 바둑을 스스로 터득했다고 알려졌다.

 

- 강화학습은 머신러닝의 한 분야로 보상을 최대한 많이 받는 방법을 학습하는 것인데, 바둑이라면 상대방을 이기는 것이 보상이므로 이기려는 방법을 인공지능이 습득하도록 반복해서 학습하게 된다.

 

- 알파고와 알파고 제로의 차이는 기보를 익힌 상태에서 강화 학습을 했느냐, 완전한 무(無)의 상태에서 강화학습을 했느냐로 볼 수 있다.

 

- 문제는 많은 데이터를 확보한 분야라면 머신러닝 모델을 적용하기가 쉽지만, 데이터가 부족한 분야는 그렇지 않다는 것이다. 인간과 기계의 인지 차이로 강화학습을 적용 하기 어려운 분야라면 더욱 그렇다. 그래서 주목 받는 방법이 바로 전이학습이다.

 

 

 

 

[ 가트너 Hype Cycle for Emerging Technologies 2019 ]

 

 

 

- 가트너는 인공지능 기술을 실제 사용자와 기업들이 쉽게 활용하기 위해 데이터 부족, 하드웨어 자원 부족, 오버슈팅 등 여러 가지 기술 장벽들을 뛰어넘을 수 있게 해주는 필요한 기술로 전이학습을 언급하면서 한 가지 문제를 통해서나 한 영역의 데이터 셋에서 배운 것을 다른 영역에 적용할 수 있는 응용 기술이라고 소개하고 있다.

 

 

 

II. 경량 딥러닝 연구 동향

 

- 경량 딥러닝 연구: 경량 디바이스, 모바일 디바이스, IoT 센서와 같이 저전력과 저사양의 기기에서도 딥러닝 알고리즘과 모델이 구동되어야 한다. 이러한 장벽을 극복하기 위해 기존의 학습된 모델의 정확도를 유지하면서 보다 크기가 작고, 연산을 간소화하는 연구

 

- 경량 딥러닝 연구는 기존 클라우드 기반의 학습된 모델을 경량 장치에 내장하기 위한 필수 기술이며, 이를 통해 지연시간 감소, 민감한 개인정보 보호, 네트워크 트래픽 감소와 같은 다양한 이점을 가지게 된다.

 

 

 

 

[ 경량 딥러닝 연구동향 ]

 

 

 

 

III. 전이학습의 개요와 적용 고려사항

 

 

 

 

[ 전이학습의 개념 ]

 

 

 

 

- 예를 들면, 골프의 학습 데이터는 충분히 주어졌지만 야구의 학습 데이터는 거의 없을 경우에 야구의 실력 향상을 목표로 하는 사례를 들 수 있다. 프로 야구 선수 중에 골프를 잘 하는 선수가 많기도 하고, 이러한 스포츠 종목들에는 공을 멀리 보내기 위해 배트나 골프채를 휘두르는 공통점이 있다. 그리고 그 공통점을 이용한 학습이 바로 전이학습이다.

 

- 먼저 골프의 학습 데이터로부터 골프 실력 향상을 꾀하고, 야구의 학습 데이터를 이용해서 골프의 움직임을 야구용으로 조정하는 것과 같은 것이다. 그리고 전이학습은 어떠한 분야의 지식을 다른 분야에 적응시키고자 하는 특성으로 인해 배구 등 다른 도메인 영역들로 지속적인 확장이 가능하다.

 

- 층의 갯수, 활성화 정도, 하이퍼 파라미터(hyper parameters) 등 실제 연산 시 고려해야 할 사항들이 많기 때문에 다양한 선행 연구들을 참조하여 전이학습을 최적화하도록 해야 한다.

 

 

 

IV. 전이학습의 장점 및 응용 분야

 

 

- 전이학습은 다른 도메인 영역에서 미리 만들어진 모델을 잘 활용하는 것이 관건이며, 이에 따라 다른 경우에 비해 초기에 빠른 학습을 시작할 수 있다.

 

- 또한, 학습의 향상도가 좀 더 가파르게 상승하며, 다른 경우에 비해 좀 더 높은 수준에서 학습 결과가 수렴된다.

 

- 이러한 장점들로 인해 다양한 응용 분야로 확장이 가능하다.

 

- 자율주행차 분야에서 전이학습 모델이 활발히 적용 되고 있다.

 

- 현대자동차의 자율주행 기술 연구에서 도메인 전이학습(Domain Transfer Learning)을 활용하여 인터넷 사이트나 영화 장면 등에서 수집된 관련 데이터를 학습시켜 모델로 만든 뒤 보행자의 무단횡단이나 다른 차량의 역주행 같은 돌발행동에 대처할 수 있도록 하고 있다.

 

- 엔비디아(NVIDIA)에서는 최근 사전 학습된 모델과 전이학습 기법을 쉽게 활용할 수 있도록 TLT(Transfer Learning Toolkit)를 출시하였다.

 

- 비슷한 기전의 질환에 대한 데이터가 많거나 혹은 데이터를 분류할 때 고정 필터로 소수의 데이터를 활용할 수 있는 전이학습이 도움이 된다.

 

- 최근에는 BERT나 GPT2 같이 자연어 처리에서도 전이학습을 활용하고 있다.

 

- 로보틱스 분야에서도 전이학습을 많이 활용하고 있다.

 

 

 

V. 결론

 

 

- 라벨 없이 스스로 패턴을 파악하며 학습하는 것이 중요하며, 이렇게 비지도학습(Unsupervised Learning)과 전이학습이 결합된다면, 지금까지와 비교할 수 없을 만큼 인공지능이 널리 활용될 것으로 예상된다.

 

 

 

*** 문서:

file8813611315409515549-193401.pdf