BAD-Gaussians 使用与启动教程
1. 项目介绍
BAD-Gaussians 是基于 nerfstudio 框架的一个官方实现,它对应于 2024 年 arXiv 论文《BAD-Gaussians: Bundle Adjusted Deblur Gaussian Splatting》的代码库。该项目旨在通过使用高斯分布对运动模糊的图像进行去模糊处理,并在去模糊的同时进行新视角的渲染。
2. 项目快速启动
在开始之前,请确保您已经安装了必要的依赖项和 Nerfstudio 环境。
安装依赖
首先,创建一个干净的 Conda 环境,并安装所需依赖:
conda create --name nerfstudio -y python<3.11
conda activate nerfstudio
pip install --upgrade pip setuptools
pip install torch==2.1.2+cu118 torchvision==0.16.2+cu118 --extra-index-url https://download.pytorch.org/whl/cu118
conda install -c nvidia/label/cuda-11.8.0 cuda-toolkit
pip install ninja git+https://github.com/NVlabs/tiny-cuda-nn/#subdirectory=bindings/torch
pip install nerfstudio==1.0.3
pip install git+https://github.com/WU-CVGL/BAD-Gaussians
准备数据集
根据您的数据集类型,使用以下命令处理数据:
对于 BAD-NeRF 数据集,可以使用以下命令:
ns-process-data images --data llff_data/blurtanabata/images --output-dir data/my_data/blurtanabata
确保在命令中正确设置 scale_factor
参数,对于 LLFF 数据集,默认值为 0.25。
训练模型
以下是训练模型的基本命令:
对于合成数据集:
ns-train bad-gaussians --data data/bad-nerf-gtK-colmap-nvs/blurtanabata --pipeline.model.camera-optimizer.mode "linear" --vis viewer+tensorboard deblur-nerf-data
对于实际数据集:
ns-train bad-gaussians --data data/real_camera_motion_blur/blurdecoration --pipeline.model.camera-optimizer.mode "cubic" --vis viewer+tensorboard deblur-nerf-data --downscale_factor 4
根据您的数据集和需求,可能需要添加一些参数以启用立方 B-样条、更多虚拟相机和粗到细的训练。
3. 应用案例和最佳实践
在实际应用中,可以通过以下命令生成视频:
ns-render interpolate --load-config outputs/blurtanabata/bad-gaussians/<your_experiment_date_time>/config.yml --pose-source train --frame-rate 30 --interpolation-steps 10 --output-path renders/<your_filename>.mp4
此外,可以导出 3D 高斯分布:
ns-export gaussian-splat --load-config outputs/blurtanabata/bad-gaussians/<your_experiment_date_time>/config.yml --output-dir outputs/blurtanabata/bad-gaussians/<your_experiment_date_time>
确保在训练时关闭抗锯齿模式,以便在大多数 3D-GS 视图中正确显示。
4. 典型生态项目
目前,BAD-Gaussians 是作为一个独立的开源项目存在,其生态项目还在不断发展中。您可以关注该项目在 GitHub 上的更新,以获取更多与BAD-Gaussians相关的工具和扩展项目。