【ACM_2023】3D Gaussian Splatting for Real-Time Radiance Field Rendering

【论文笔记】3D Gaussian Splatting for Real-Time Radiance Field Rendering

Point-NeRF是一种将稀疏点云与 NeRF 结合起来的方法，通过给点添加神经特征，并利用体积渲染完成新视角合成；而则是用可渲染的高斯分布表示场景点，摆脱了神经网络渲染的成本，实现了更高效的实时效果。Plenoxels是一种完全抛弃神经网络的 NeRF 变体，用稀疏体素网格表示场景，每个体素中保存颜色与密度等信息，训练和渲染都非常快。它是从“神经渲染”走向“直接优化”的关键过渡点之一，也为后来的 3D Gaussian Splatting 这种“完全可显式渲染”的方法铺平了道路。步骤技术关键词目的。

NeRF效果好，但是训练和渲染很花时间；特别是对1080p分辨率渲染的场景，现有方法无法实现实时渲染。本文引入三个关键部分，实现sota视觉质量、较短训练时间和1080p分辨率下新视角实时渲染。。通过camera calibration中产生的稀疏点进行初始化。这种新的3D表达形式在保存NeRF优点的同时，避免了空白空间不必要的计算开销；。实现3D Gaussian的交替优化和密度控制，优化各向异性协方差矩阵实现对场景的准确表达；Rendering。

简介 官网 更少训练时间的同时实现最先进的视觉质量，能在1080p分辨率下实现高质量的实时(≥30 fps)新视图合成 NeRF使用隐式场景表示，体素，点云等属于显示建模方法，3DGS就是显示辐射场。它用3D高斯作为灵活高效的表示方法，同时利用神经网络的特性进行参数优化，旨在以更快的训练速度和实时性能实现高质量的渲染，尤其适用于复杂场景和高分辨率输出。 nerf是一个连续的表示，隐含地表示空/占用空间;为了找到空间点的样本，需要进行昂贵的随机抽样，由此产生噪声和计算开销。相比之下，点是一种非结构化的离散表

本文提出了一种基于3D高斯体进行场景重建的方案，并提供了高效的渲染器实现。其重建精度，训练速度和推理速度均超越之前的SOTA方案。整体的思路就是先使用传统方案（COLMAP）将多视角图像对齐，并提取稀疏点云。然后以这些点为基础构建高斯体，在训练中动态的增减高斯体的数量和半径。之后对高斯体进行渲染，获得最终的重建结果。

对3DGS原文进行翻译，以及部分理解。

提出了一种名为3D Gaussian Splatting的新方法，用于实时辐射场渲染，这种方法可以在只需要很少的优化时间的同时，实现与之前方法相当甚至更好的视觉质量。本文提出的3D Gaussian场景表示方法，结合了实时可微分渲染器，显著提高了场景优化和新视角合成的速度。实验表明，在与InstantNGP（Müller et al., 2022）相同的训练时间下，该方法可以达到相似的视觉质量，甚至在某些情况下超过了Mip-NeRF360（Barron et al., 2022）。

视频教程（原作团队ECCV2022）：https://www.bilibili.com/video/BV1vs4y1F7De/?视频教程（蒂宾根大学ML-4360，主要第九章）：https://www.bilibili.com/video/BV1ov411j7Uj?代码（pytorch3d版）：https://gitcode.com/mirrors/facebookresearch/pytorch3d/tree/main。代码：https://github.com/Anttwo/SuGaR。

3D GS理解之层次二

它的基本思想是将点云中的每个点视为一个二维的、具有一定大小和属性的粒子（或称为“splat”），然后将这些粒子投影到屏幕上并绘制成像素，以生成最终的图像。我们引入了三个关键元素，使我们能够在保持有竞争力的训练时间的同时获得最先进的视觉质量，并重要的是允许在1080p分辨率下进行高质量的实时(≥30 fps)新颖视图合成。提出一个实时且能够高质量渲染场景的方法，通过结合离散和连续表示方法的优势，不仅克服了传统方法在噪声和渲染质量方面的限制，而且极大地提高了渲染速度。，既加快了训练速度，又允许实时渲染。

我们的方法的输入是一组静态场景的图像，以及由SfM【Schönberger 和 Frahm 2016】校准的对应摄像机，SfM会产生稀疏点云作为副产品。我们从这些点创建了一组3D高斯分布（见第4节），定义了位置（均值）、协方差矩阵和不透明度α，这允许非常灵活的优化机制。这结果在于对3D场景的合理紧凑表示，部分原因是高度各向异性的体积喷溅可以紧凑地表示精细结构。辐射场的方向外观分量（颜色）通过球谐函数（SH）表示，遵循标准做法【Fridovich-Keil 和 Yu 等人 2022；

传统的3D场景表示方法，如网格和点云，适合GPU加速的光栅化操作，但缺乏灵活性。而基于神经辐射场（NeRF）的表示方式，尽管质量高，但需要高成本的训练和渲染时间。相较于当前最佳质量的Mip-NeRF360，训练时间从48小时缩短到仅6分钟（快速配置）或51分钟（高质量配置），渲染速度达每秒135帧。提出一种快速的基于GPU的平铺排序算法，用于实现高效的各向异性splats投影和前向后向传播。3D高斯允许在优化过程中高效表示连续的体积辐射场，同时减少了对空白空间的计算浪费。

GS

辐射场方法最近彻底改变了用多张照片或视频捕获的场景的新颖视角合成。然而，要获得高视觉质量，仍然需要训练和渲染成本高昂的神经网络，而最近更快的方法不可避免地要牺牲速度来换取质量。对于无界和完整的场景(而不是孤立的对象)和1080p分辨率的渲染，目前还没有一种方法可以达到实时显示速率。我们引入了三个关键元素，使我们能够在保持有竞争力的训练时间的同时获得最先进的视觉质量，并重要的是允许在1080p分辨率下进行高质量的实时(≥30 fps)新颖视图合成。

3D Gaussian Splatting：用于实时的辐射场渲染 3d gaussian splatting for real-time radiance field rendering

主要研究方法是使用3D高斯光点绘制（3D Gaussian Splatting）方法进行实时光辐射场渲染。该方法结合了3D高斯场表示和实时可微分渲染器，通过优化3D高斯场的属性和密度控制，实现了高质量的光辐射场渲染。同时，该方法还采用了基于瓦片的光斑渲染技术，实现了对多个数据集的实时渲染。通过这种方法，该研究在保持最佳质量的同时，大大提高了场景优化和新视图合成的速度。

最近辐射场方法彻底改变了多图/视频场景捕获的新视角合成。然而取得高视觉质量仍需神经网络花费大量时间训练和渲染，同时最近较快的方法都无可避免地以质量为代价。对于无边界的完整场景（而不是孤立的对象）和 1080p 分辨率渲染，目前没有任何方法能达到实时显示率。我们引入了三个关键元素，使得能够达到sota视觉质量同时保证有竞争力的训练时间，而且重要的是可以高质量、实时（≥30fps\ge 30 fps≥30fps）、1080p分辨率的情况下新视角合成。首先，从。