图片速览 NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis

• Nerf是一种使用神经网络进行渲染3维数据的方法,其基于一种非刚体渲染的方法（刚体渲染方法可见OpenGL）。

• NeRF 的神经网络部分(图中的(a)到(b))用于从给定的光线信息（位置和方向）计算颜色和密度。该网络的输入为一条光线的空间数据：

  • 光线采样点：由光线起点和方向确定光线，并随机采样得到的多个空间中三维点的位置。
  • 光线方向：每个像素的光线方向，即从相机到场景中的某个点的方向。

  网络的输出为光线对应空间位置的颜色和密度数据：

  • 颜色（RGB）：每个光线的颜色（即该点的RGB值）。
  • 密度（sigma）：表示光线通过该点时的物质密度。

• 图中的(c)为体积渲染，体积渲染（Volume Rendering）来从神经网络的输出生成图像。

Nerf中的体积渲染（Volume Rendering）

• Nerf使用经典空间渲染的原理RAY TRACING VOLUME DENSITIES （中文翻译地址）来计算穿过场景的一条光线的(最终呈现在2D图像上的)颜色。

$$C(\mathbf{r})={\int }_{t_n}^{t_f}T(t)\sigma (\mathbf{r}(t))\mathbf{c}(\mathbf{r}(t),\mathbf{d})dt,\mathrm{where}T(t)=\exp \left(-{\int }_{t_n}^t\sigma (\mathbf{r}(s))ds\right)$$

• 体积密度$\sigma (x)$可以解释为射线在位置x处终止于无穷小粒子的微分概率。
  • 微分概率:对于一个连续型随机变量$X$，其概率密度函数为$f(x)$。在某个特定的点$x$上，微分概率可以表示为$f(x)dx$，其中$dx$代表极小的变化量。微分概率表示了在极小区间$dx$内，随机变量$X$取值在$x$附近的概率。
• $C(r)$ 在光线$r$通过后最终显示的颜色
  • $r(t)=o+t\ast d$ ,$o$应该为光源坐标，$d$为光照方向，$t$为光运动距离
  • $t_n$到$t_f$为光线范围
  • 函数$T(t)$表示沿着从$t_n$到$t$的光线的累积透射率。累积透射率为光线剩余的概率，体积密度越大，积分值越小，累积透射率越小。
  • $c(r(t),d)$为空间位置的颜色

积分值估计

• 从$[t_n,t_f]$中进行分层采样获取采样点的公式：
  t i ∼ U [ t n + i − 1 N ( t f − t n ) , t n + i N ( t f − t n ) ] \begin{aligned} t_i\sim\mathcal{U}\left[t_n+\frac{i-1}{N}(t_f-t_n),t_n+\frac{i}{N}(t_f-t_n)\right] \end{aligned} ti​∼U[tn​+Ni−1​(tf​−tn​),t