[iitp] 다음 쓸 문장을 자동으로 알려주는 G메일 스마트 컴포즈 Smart Compose

[구글 스마트 컴포즈 인공지능의 언어생성 모델 RNN-LM]

 

 

 

 

*** 출처: [iitp] 다음 쓸 문장을 자동으로 알려주는 G메일 스마트 컴포즈 Smart Compose

*** 문서:

file1489416296324855712-185504.pdf

 

 

 

 

■ 스마트 컴포즈 Smart Compose

 

- 아직은 영어만 서비스

 

- 가령, 'How'를 입력하면 AI는 "How are you doing?" 이라는 문장을 생성, AI가 제시하는 문구는 회색으로 표시되며 탭을 누르면 검은색으로 바뀌며 문장이 확정됨

 

- 사용자들의 평은 기대 이상으로 편리하다고 함

 

- 상대방 이름은 AI가 이메일 주소를 보고 유추해 생성

 

- 메일의 인사말 워딩은 아주 다양하지만, AI는 이런 다양성을 학습하여 사용자의 의도가 명확히 판별되는 시점에서 문장을 완성하여 제시함

 

 

 

■ 언어생성 모델 RNN-LM

 

- 스마트 컴포즈를 뒷받침하고 있는 AI는 "언어생성모델(Language Generation Model)"이라고 불림

 

- 언어생성 모델은 입력된 문자열에서 다음 단어를 예측하는 것으로 일반적으로 "시퀀스-투-시퀀스(Sequence to Sequence: Seq2Seq) 모델"로 분류됨

 

- 지메일은 언어생성모델로 "회귀신경망 언어 모델(Recurrent Neural Network-Language Model: RNN-LM)"을 사용하며, 동시에 단어들의 분포를 보고서 문서의 유형을 판단하는 "단어 가방 신경망(Neural Bag of Words: BoW)" 기법을 사용함

 

- RNN-LM은 언어 생성의 단골 기법인데 구글의 번역 서비스인 "구글 신경망 기계 번역(Google Neural Machine Translation)"에 사용하고 있음

 

- 어떤 언어를 인코더에 입력하면 디코더가 다른 언어로 번역해 주는 식으로 작동함

 

- RNN-LM의 예측 정확도는 높지만 대규모 연산이 발생하기 때문에 응답이 나오기까지 시간이 걸리는데, 이용자가 타이핑할 때마다 다음 문구를 생성해야 한다면 서비스에 사용할 수 없음

 

- 이 때문에 BoW를 함께 사용하는데, BoW도 언어 모델의 하나로 말의 순서에서 다음에 나타나는 단어를 예측함

 

- 따라서 RNN-LM과 BoW를 동시에 사용하는 것은 예측 정확도와 처리 시간 단축 사이의 균형점을 찾아 적절한 서비스를 제공하기 위해서임