[iitp] 혼합현실(MR)을 위한 4D 복원 기술 동향

 

 

 

 

*** 출처: [iitp] 혼합현실(MR)을 위한 4D 복원 기술 동향

*** 문서:

file615104631215849593-188902.pdf

 

 

 

 

I. 서론

 

- 4D 복원 기술은 IR/RGB/Depth 등의 다중 센서를 이용하여 움직이는 대상 객체에 대한 완전한 3차원 모델 및 움직임 정보를 추정하는 기술로, 홀로렌즈와 같은 차세대 디바이스 기반의 응용 서비스를 위한 핵심 콘텐츠를 생성할 수 있는 기술이라 할 수 있다.

 

- 이전 시간에 획득한 데이터와의 융합을 통해 3차원 모델을 점진적으로 업데이트해 가는 것과 옷의 움직임이나 표정의 변화와 같은 시간에 따른 객체의 비강체 변형 정보를 추정하여 사실적이고 생동감 있는 3차원 모델을 획득할 수 있다는 장점이 있다.

 

 

 

 

[ 비실시간 4D 복원의 예; Microsoft의 FreeViewpoint Video 기술 ]

 

 

 

- 특히, 움직이는 다중 객체에 대한 이질감 없는 4D 복원 기술은 다른 객체에 의한 빈번한 가려짐 현상과 객체가 차지하는 넓은 복원 공간 때문에 기술적 난이도가 매우 높다고 할 수 있으며, 세계적으로도 아직 발표된 사례가 없다.

 

- 4D 복원은 방대한 영상 데이터 정보를 이용하여 실시간으로 동적 객체의 3D 모델을 연속적으로 생성하는 난이도가 매우 높은 기술로서, 아직 국내에서 개발된 사례가 없으며 해외의 경우 최근 마이크로소프트, 막스플랑크연구소, 서리대학, 워싱턴대학에서 관련 연구 결과를 저명 학술대회에서 발표하였다.

 

- 4D 모델을 획득하고 사실감 있게 재현하는 기술은 AR/VR 응용 기술의 몰입도를 크게 향상시킬 수 있어 4D 복원 기술을 선점하는 회사가 AR/VR 관련 시장을 주도할 것으로 예상된다.

 

- 4D 복원 기술을 이용하면 AR/VR 콘텐츠에서 실사기반의 사실적 3차원 모델과 그래픽스 기반의 3차원 모델을 동시에 활용할 수 있게 되므로 사용자에게 실감적인 경험을 가능하게 하고, 이를 통해 AR/VR 시장이 더 확대될 것으로 기대된다.

 

- 4D 복원 기술을 이용하면 자신과 같이 생긴 아바타를 이용한 상호작용, 원거리에서도 사실적 상호작용을 할 수 있는 서비스/콘텐츠가 대중화될 것으로 전망된다.

 

 

 

II. 4D 복원 기술 동향

 

 

1. 단일 센서 기반의 실시간 4D 복원 기술

 

 

○ DynamicFusion

 

- 단일 깊이 센서에서 촬영한 깊이영상을 이용하여 3D 모델을 완벽하게 실시간으로 복원하기 위한 기술로, 단일 센서가 획득하는 제한된 양의 깊이 정보를 점진적으로 누적하여 모델의 완성도를 높여가는 방법론을 제안하였다.

 

 

○ 칭화대의 4D 복원 연구

 

- 기존에 기하학적 정보만을 추정하던 DynamicFusion 기술에 현재 환경의 조명 정보와 물체의 반사율에 해당하는 알베도를 동시에 추정하는 접근 방법을 제시하였다.

 

- 조명 정보를 추정하는 가장 큰 이유는 객체의 고유 색상 정보를 추정하기 위함이며, 이를 통해 AR/VR 응용 서비스에서 가상/임의 환경에서 복원된 객체를 보여줄 때 이질감 없이 보여줄 수 있다는 장점이 있다.

 

- 구체적으로는 객체의 기하학적 정보와 고유 색상 정보를 알고 있으면 임의의 조명에 대한 재조명(relighting)이 가능하며 재조명 기술을 통해 다양한 환경에 맞게 객체의 색상 및 그림자 정보를 생성할 수 있다.

 

 

 

 

[ 4D 복원된 모델에 대한 재조명 기술 적용 결과 ]

 

 

 

 

2. 다중 카메라 기반 4D 복원 기술

 

 

○ 다중 카메라 기반 4D 복원 기술 비교