[IITP] 비디오의 시각적 요소 그래프 구축 파이프라인

[ 기술개념도 ]

 

- 출처 : [IITP] 비디오의 시각적 요소 그래프 구축 파이프라인 - 김주호 한국과학기술원 부교수

 

file3818776075358882267-200704.pdf

0.52MB

 

 

I. 결과물 개요

 

 

 

II. 기술의 개념 및 내용

 

1. 비디오 그래프 생성을 위한 데이터 수집

 

- 비디오 그래프 생성을 위한 데이터 수집

- 비디오 그래프 개발을 위해 주요 객체 1개 및 부객체 여러 개를 담는 비디오 수집

- 비디오 분야별 사용자의 필요에 맞는 비디오 그래프 구성 요소 구축을 위해 비디오 정보를 담아내는 분류 체계(taxonomy) 설정

- 분류 체계에 따라 비디오 내 객체(인물 및 물체), 객체 사이의 관계를 레이블하는 웹기반 크라우드소싱 인터페이스 개발

 

2. 비디오 시각적 요소 그래프 생성 모델

 

- 분류 체계에 따라 비디오 내 등장인물 및 주요 물체 등의 객체의 시공간적 정보(위치 및 지속시간) 추출

- 비디오 내에서 탐지된 객체들 사이의 관계 정보 및 그 관계의 지속 시간 추출

- 비디오의 시각적 요소를 담는 객체를 그래프의 형태로 의미적으로 연결함으로써 비디오 시각적 요소 그래프 구축

 

3. 기술의 특성 및 성능

 

- 비디오 그래프 구축 파이프라인은 비디오 내의 중요 객체와 객체 간의 관계를 파악하여 이 정보를 자동으로 그래프로 표현

- 1차년도 예상 성능: 100개의 종류의 객체를 인식, 0.92의 정확도로 객체를 인식

 

4. 제품화 및 활용 분야