https://arxiv.org/pdf/2505.05473

Authors: Qitao Zhao, Amy Lin, Jeff Tan, Jason Y. Zhang, Deva Ramanan, Shubham Tulsian

Affiliation: Carnegie Mellon University

image.png

Background

  1. SFM(Structure from Motion) 여러 장의 사진에서 카메라 위치와 3D 구조를 추정해내는 기술

image.png

image.png

  1. About SFM(Structure from Motion)

DUSt3R

DUSt3R

뷰쌍 정렬(pairwise registration) 즉, 카메라 1–2, 2–3, 1–3 사이에서 대응점을 찾아서 상대적인 위치와 방향을 맞추는 단계.

뷰쌍 정렬(pairwise registration) 즉, 카메라 1–2, 2–3, 1–3 사이에서 대응점을 찾아서 상대적인 위치와 방향을 맞추는 단계.

전역 정렬(global alignment, bundle adjustment) 여러 뷰에서 얻어진 대응 관계들을 전체적으로 묶어서, 모든 카메라 위치와 3D 점들을 동시에 최적화

전역 정렬(global alignment, bundle adjustment) 여러 뷰에서 얻어진 대응 관계들을 전체적으로 묶어서, 모든 카메라 위치와 3D 점들을 동시에 최적화

SFM(ex, DUSt3R): 사진 두 장씩 3D 점들을 예측한 뒤, 나중에 전역 정렬이 필요함.

(① 사진 쌍끼리 점을 맞추고(짝맞추기) ② 마지막에 전부를 한꺼번에 정렬(번들조정)하는 두 단계가 필요)

  1. 디퓨전(Diffusion) 노이지한 데이터에서 시작해, 학습된 확률적 과정을 통해 노이즈를 제거하면서 데이터를 복원·생성 기법

image.png

Idea