정의

3D Gaussian Splatting(3DGS)은 Neural Radiance Fields(NeRF)의 원리를 기반으로 한 기술로, 여러 사진이나 비디오를 사용하여 새로운 각도에서 본 장면을 합성하는 기술입니다. 2020년에 발표된 NeRF(Neural Radiance Field)는 3D 좌표를 입력으로 받아 색상과 밀도를 출력하는 신경망을 통해 적은 수의 이미지로도 매우 사실적인 렌더링을 가능하게 했습니다. NeRF는 연속적이고 볼류메트릭한(scene volumetric) 장면을 생성할 수 있어, 이전에는 볼 수 없었던 디테일과 현실감을 가진 이미지를 합성해냈습니다.

NeRF는 Computer Graphics와 3D Reconstruction 분야에서 중요한 이정표가 되었으나, 연산 효율성과 제어성 측면에서 한계가 있었습니다. 픽셀마다 ray marching으로 3D 포인트를 샘플링하기 때문에 학습 시간과 렌더링 시간이 오래 걸리며, 고해상도일수록 많은 리소스(CPU, GPU, RAM)가 필요합니다.

3DGS는 이러한 한계를 극복하기 위해 개발되었습니다. 이 기술은 NeRF의 원리를 기반으로 하여 더 효율적이고 빠르게 장면을 합성하고 렌더링할 수 있습니다. 특히 고해상도의 이미지를 빠르게 합성하는 데 사용되며, 게임이나 가상현실(VR) 같은 실시간 그래픽 응용 프로그램에서 매우 유용합니다.

어떻게 작동하나요?

1. 사진 또는 비디오를 입력으로 사용:

   • 여러 각도에서 찍은 사진이나 비디오를 입력으로 사용합니다.(실습은 비디오를 사진으로 전환하는 방식으로 진행)

2. 3D 점 생성:

   • 입력된 사진이나 비디오에서 3D 점들을 추출합니다. 이 3D 점들은 장면의 구조를 나타냅니다.
   • 희소 포인트(스파스 포인트)*: 희소 포인트란, 장면에서 특정한 중요한 점들을 의미합니다. 예를 들어, 건물의 모서리나 사람의 눈과 같은 중요한 부분을 나타냅니다.

   

   구조

3. 3D 점을 가우시안으로 변환:

   • 각 3D 점을 작은 구름 모양으로 변환합니다. 이 구름들은 점 주변 공간을 부드럽게 채웁니다.
   • 가우시안: 수학적으로, 가우시안은 중심에서 멀어질수록 값이 감소하는 종 모양의 곡선을 의미합니다. 여기서는 각 3D 점을 중심으로 하는 부드러운 구름 모양을 만듭니다.

4. 장면을 합성하고 렌더링:

   • 이렇게 변환된 구름들을 모아서 전체 장면을 합성합니다. 이 과정에서 다양한 각도에서 본 장면을 실시간으로 렌더링할 수 있습니다.
   • 렌더링: 컴퓨터 그래픽에서 렌더링은 3D 모델을 2D 이미지로 변환하는 과정을 의미합니다.

결과적으로, NeRF에서는 불가능했던 빈 공간에서의 불필요한 연산을 회피할 수 있게 되었습니다.

주요 특징

1. 고해상도 이미지 생성:
   • 3D Gaussian Splatting은 매우 선명한 이미지를 생성할 수 있습니다. 예를 들어, 영화나 사진에서 더 나은 품질의 장면을 만들 수 있습니다.
2. 빠른 처리 속도:
   • 이 방법은 매우 빠르게 장면을 합성할 수 있어서 실시간 그래픽 응용 프로그램에서 유용합니다. 예를 들어, 게임이나 VR에서 실시간으로 장면을 생성하는 데 사용할 수 있습니다.
3. 효율적인 계산:
   • 불필요한 계산을 줄여서 더 효율적으로 작동합니다. 즉, 필요한 부분만 계산하여 빠르게 결과를 얻을 수 있습니다.