🥗 3DGS 다이어트

Yeonkyung Lee^1*, Eunseo Seo^2*, Dayeon Woo^3*, Chehun Han^4*, and Changgyun Jin^5†*

¹Sejong University ²Chungang University ³Sungkyunkwan University ⁴Ewha Womans University ⁵Seoul National University of Science & Technology
^*deep daiv. ^†Project Lead

Code Project Detail

Motivation

MLP 기반의 NeRF모델과 달리 point cloud 기반의 3DGS 모델은
저장해야 하는 파라미터 수가 많기 때문에 메모리 사용량이 높다.
퀄리티를 유지하면서 메모리를 줄여보자!

Pipeline

Method

비슷한 속성의 가우시안들을 클러스팅하여 하나의 큰 가우시안으로 만들자.
본 메소드는 가우시안 수를 줄임으로써 메모리 사용량을 줄일 수 있다.

DBSCAN Clustering

클러스터 속 여러 가우시안들을 하나의 큰 가우시안으로 정의할 때
가우시안끼리 비슷한 값을 갖는 Position과 Color는 평균값으로,
Opacity는 pruning 과정에서 제거되지 않기 위해 최댓값으로 설정한다.

Result

dbscan을 3번 이용한 방식은 DBSCAN_thrice와 3DGS를 비교했을 때
가우시안 수는 약 20만개가 줄었고, 메모리 또한 약 50MB가 줄었다.

정량적 평가(3DGS vs DBSCAN_3)

정성적 평가(3DGS vs DBSCAN_3)

Ours

3DGS

3DGS vs Ours

GT vs Ours

GT vs 3DGS

Iteration별 Rendering 비교

Citations


      @Article{kerbl3Dgaussians,
        author       = {Kerbl, Bernhard and Kopanas, Georgios and Leimk{\"u}hler, Thomas and Drettakis, George},
        title        = {3D Gaussian Splatting for Real-Time Radiance Field Rendering},
        journal      = {ACM Transactions on Graphics},
        number       = {4},
        volume       = {42},
        month        = {July},
        year         = {2023},
        url          = {https://repo-sam.inria.fr/fungraph/3d-gaussian-splatting/}
       }