딥러닝으로 카메라 영상을 3D복원하는 NeRF

딥러닝으로 카메라 영상을 3D복원하는 NeRF

카메라로 촬영된 2D 이미지로 3D 상으로 3차원 복원을 연구하는 분야는 오래된것 같다. 최근에 병렬컴퓨팅 기술이 발달하고, 딥러닝 모델이 개발되고, 사회적으로 자율주행, 메타버스 등의 산업군으 뜨면서, 3D 복원 연구가 더욱 활발해지는 것 같다. 그중에서 최근에 각광받고 있는 NeRF(Neural radiance Fields) 에 대해서 알아보자.

NeRF(Neural radiance Fields) 란 무엇인가

3D 복원과정에서 컴퓨터비전+딥러닝을 융합한 기술

NeRF 는 카메라로 촬영된 2D 이미지로 3D 상으로 3차원 복원하는 과정에서 전통적인 <컴퓨터비전방식>과 <딥러닝> 기술을 융합하는 것이라고 설명된다. NeRF 를 통해 3D 를 생성하는 과정에서 <딥러닝> 모델의 네트워크에서 각위치(3차원 좌표)에서의 빛의 정보를 구한다.

1. 카메라로 촬영된 3D 이미지에서, 수학적인 계산을 통해 <카메라 위치>를 파악한다.
2. <카메라 위치>를 기반으로 각 이미지에서 매칭된 쌍을 연결한다.
3. 이렇게 모아진 정보로 3차원으로 복원한다

이 과정에서 전통적인 컴퓨터비전의 지오메트리 정보 뿐만 아니라 딥러닝 모델을 사용하는 것이다.

NVIDIA instant NeRF

컴퓨터 그래픽과 딥러닝의 강자 NVIDIA 가 GTC 에서 instant NeRF 을 제시했다. NVIDIA 에 의하면, 현재까지 가장 빠른 NeRF 기술로, 어떤 경우에는 1,000배 이상의 속도 향상을 달성했다고 한다. 이 모델은 수십 장의 사진이미지와 함께 촬영한 카메라 각도에 대한 데이터를 훈련하는 데 몇 초만 소요되며 결과 3D 장면을 수십 밀리초 이내에 렌더링할 수 있다. 엔비디아 팀은 GTC 에서 앤디워홀이 폴라로이드 카메라를 들고 있는 장면을 모티브로 NeRF 데모를 선보였다.

출처 : 엔비디아 GTC 영상

'Andy Warhol with Camera', 1974, Oliviero Toscani

참고자료

지난 NVIDIA GTC 세션에서 선보인 Instant NeRF 블로그를 참고한다. 이 기술을 통해, 가상 세계를 위한 아바타 또는 장면을 생성하고, 화상 회의 참가자와 환경을 3D로 캡처하거나, 3D 디지털 지도의 장면을 재구성하는 데 사용할 수 있다.

https://blogs.nvidia.com/blog/2022/03/25/instant-nerf-research-3d-ai/

NeRF Research Turns 2D Photos Into 3D Scenes | NVIDIA Blog