[ETRI] 컴퓨터 비전 기술과 예술

 

 

- 출처 : [ETRI] 컴퓨터 비전 기술과 예술 - 김말희, 전종암, 표철식 한국전자통신연구원 책임연구원

 

file8343045011468745465-200202.pdf

2.25MB

 

 

II. 컴퓨터 비전 기술

 

- 컴퓨터 비전 기술은 인간의 눈과 뇌를 통해서 처리되는 시각인지 기능을 IT 디바이스와 분석 소프트웨어를 이용해서 실현하는 기술 분야이다.

 

- 인공지능 기술의 한 분야로서 시각적인 정보를 수집하여, 필요한 상황을 인지하고 최적의 행위를 결정하는 데 있어서 중요한 정보를 생성한다.

 

• 객체 분류(object classification)
• 객체 감지 및 위치 인식(object detection & localization)
• 이미지 캡셔닝(image captioning: 해당 이미지의 상황을 자연어로 생성해내는 기술)
• 포즈인식 기술

 

- 이미지 캡셔닝(image captioning)

 

• CNN(Convolutional Neural Network) 모델 을 통해서 이미지를 분석하고, 분석한 정보를 RNN(Recurrent Neural Network) 모델을 이용해서 자연어로 표현
• 이미지 데이터에서 심볼릭 정보를 추출하는 것이 목적, 즉, 인간의 인식 기능은 사용하는 심볼릭 기호를 통해서 처리되고 기억되게 된다. 따라서 이미지 정보를 언어와 숫자 정보로 해석하여 인식 과정에 활용하거나 기억하게 되는데 이미지 캡셔닝 기술은 이러한 인식 과정 의 주요 기능을 대체할 수가 있게 된다.

 

III. 컴퓨터 비전 기술과 예술

 

2. 딥드림(DeepDream)

 

- 2015년 구글 엔지니어인 알렉산더 모드빈체브(Alexander Mordvintsev)가 생성한 컴퓨터 비전 프로그램으로, CNN을 이용하여 원본 이미지를 꿈꾸는 듯한 이미지 형태로 전이시키는 프로그램이다.

 

- 원본 이미지의 모호한 부분을 딥러닝 알고리즘이 사전에 인식한 패턴 정보로 과해석하게 함으로써 결과적으로는 꿈을 꾸는 듯한 이미지를 생성하게 한다.

 

- 실제적인 방법은 원본 이미지 데이타에 특정 은닉층들에서의 출력값에 대한 경사도값을 조정하여 결합하는 방법을 이용한다.

 

 

- 구글에서는 텐서플로우(tensorflow) 튜토리얼 서비스 형태로 코드를 제공하고 있으며, 이를 클라우드 서비스인 colab을 통해서 손쉽게 그림을 바꿔가면서 시험해볼 수 있다.

 

 

3. 스타일 전이(Neural style transfer)

 

- 기학습된 CNN 모델을 이용하여, 원본 이미지(콘텐츠 이미지)를 스타일 이미지에 맞춰서 스타일 이미지 형태로 원본 이미지를 전이시키는 기술이다.

 

- CNN 네트워크의 은닉층들 중 특징값을 도출할 은닉층들과 스타일을 도출할 은닉층들을 선별한 후, 스타일 이미지의 스타일에 원본 이미지의 스타일과 콘텐츠 특징값을 최적화해가는 방법이다.

 

- 이미지 스타일은 각 은닉층에서 생성한 특징 맵들 간의 상관관계로 표현되는 그람 매트릭스(Gram matrix)를 이용한다.

 

 

- 텐서플로우에서 튜토리얼 코드를 제공한다.

 

 

4. 생성 모델을 이용한 이미지 생성(GAN)

 

- 진짜 같은 가짜 데이터를 생성하는 생성자 신경망(generator)과 가짜 데이터와 진짜 데이터를 구별하는 판별자 신경망(discriminator)이 서로 게임을 하듯이 학습을 진행하는 방식으로 진짜 같은 가짜 데이터를 생성하는데 탁월한 성능을 보인다.

 

- 현재 사회/정치적으로 큰 문제가 되고 있는 Deepfake(Deep learning+fake의 합성어)도 GAN을 이용해서 생성되고 있다.

 

- 많은 실용적인 목적으로도 사용되고 있다.

• 머리 스타일을 바꾼다거나 옷의 패턴을 바꾼다거나 혹은 사진에서 일부를 삭제하고 삭제한 부분을 자연스럽게 보정해주는 기능
• 해상도가 낮은 이미지 데이터를 해상도가 높은 이미지로 생성
• Artificial intelligence art라는 분야는 이미 예술의 한 영역으로 자리잡고 있으며, GAN의 출현으로 더욱 활기를 띠고 있다.

[ 오비우스 - 벨라미 초상화 ]

- 최근에는 이러한 예술 활동에 대한 신조어(GAN art, GANism)도 등장했다. 

 

 

IV. 결론

 

- 인공지능이 다만 주어진 영역 안에서만 활동한다는 것은 지나친 편견이다. 존재하는 예술작품의 카피에 불과 하다는 평가는 인공지능 예술 작품에 대한 폄훼이다. 마거릿 보든의 창조력의 정의에 비춰 봐도, 러브레이스 테스트에 비춰봐도 지금의 인공지능이 만들어낸 작품들을 예술의 그림자 혹은 예술의 이미지일 뿐이라고 쉬이 폄훼하기는 어려워 보인다.

 

- 컴퓨터 비전 기술이 빚어낸 예술 작품의 지재권은 어떻게 규정되어야 할까. 사용된 입력 데이터의 소유권, 사용된 인공지능 프로그램의 소유권, 프로그램을 활용하여 작품을 만들어 낸 사람의 소유권에 대한 총체적인 고민과 정리가 필요한 시점이다.