SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる？？ 〜
5 likes•4,642 views
6/9 (木) 14:15～14:45 メイン会場 講師：加藤 大晴 氏（株式会社Preferred Networks） 概要： 点群/メッシュ/ボクセルなどの従来的な3D表現に代わってニューラルネットによる陰関数で三次元データを表してしまう手法が近年登場し、様々なタスクで目覚ましい成果を挙げ大きな注目を集めている。この表現は、計算コストが高い代わりに柔軟性が高くさまざまなものをシンプルかつコンパクトに表現できることが知られている。本講演では、その基礎、応用、最先端の状況について、代表的な研究を広く紹介する。
![コンピュータビジョン？
- 2D画像から3D世界を理解する技術
- 深度推定，カメラポーズ推定，…
- ほとんどの2Dのタスク (e.g. 画像識別) で間接的に3D推定が必要
- 球体（3D形状），赤い → リンゴ
#3
[Szeliski 2010]](https://image.slidesharecdn.com/ss1ssii2022hkatoneural3drepresentationhiroharukato-220607054619-fadc6480/85/SSII2022-SS1-3D-3-320.jpg)
![ニューラル3D表現
ニューラルネットワークで3D情報を表現
- 論文数が指数的に増加中
- CVPR 2019 で3本同時に出たのがきっかけ
- いま話題の NeRF でも使用
詳細の前に，従来的な表現を復習
- ボクセル，点群，メッシュ
- 深度マップ，多視点深度マップ，複数平面画像(multiplane images)，…
#4
[Xie+ 2021]](https://image.slidesharecdn.com/ss1ssii2022hkatoneural3drepresentationhiroharukato-220607054619-fadc6480/85/SSII2022-SS1-3D-4-320.jpg)
![ボクセル
ピクセルを3Dに拡張したもの
- float pixels[H][W];
- float voxels[D][H][W];
✔ 画像を認識・生成する方法論 (CNN etc.) をほとんどそのまま使い回せる
✗ メモリ消費量が膨大で，解像度は2563
くらいが限界
- シンプルな物体ひとつなら表せるが，それ以上はきびしい
#5
[Image: URL]
1603
803
403](https://image.slidesharecdn.com/ss1ssii2022hkatoneural3drepresentationhiroharukato-220607054619-fadc6480/85/SSII2022-SS1-3D-5-320.jpg)
![階層的ボクセル (octree)
細かく表現したいところだけボクセルを分割
✔ 高解像度の表現が可能
✗ 生成/管理が複雑
✗ 深層学習との相性の良さが失われる
#6
[Image: URL]](https://image.slidesharecdn.com/ss1ssii2022hkatoneural3drepresentationhiroharukato-220607054619-fadc6480/85/SSII2022-SS1-3D-6-320.jpg)
![点群
3Dシーンを点の集合で表現
- `float points[N][3];`
✔ ボクセルよりコンパクト
- 3D空間全体ではなく，物体の表面(2D的) だけを表現すればよい
✗ 面を表現できない
✗ 深層学習で扱うのがやや難しい
#7
[Image: URL]](https://image.slidesharecdn.com/ss1ssii2022hkatoneural3drepresentationhiroharukato-220607054619-fadc6480/85/SSII2022-SS1-3D-7-320.jpg)
![メッシュ
3Dシーンを三角形（多角形）の集合で表現
- float vertices[N][3]; // 3D points
- int faces[M][3]; // Triangles
✔ とてもコンパクト
- 表面全体に点を打つ必要はない
✗ よいメッシュを得るためには職人技が必要
- 頂点数はいくつか，どこに置くか，自己交差はないか，
…
✗ 深層学習で扱うのはかなり難しい
- グラフ構造をどう扱うか？
#8
[Image: URL]](https://image.slidesharecdn.com/ss1ssii2022hkatoneural3drepresentationhiroharukato-220607054619-fadc6480/85/SSII2022-SS1-3D-8-320.jpg)
![（非ニューラル）陰関数表現
3D座標 p と関数 f について，f (p) = 0 となるところが物体の表面
✔ とてもとてもコンパクト
✗ 形状の作成がとても難しい
✗ 一般に，表面の位置を陽に求められない
- 方程式が解析的に解けない
#9
[Figure: URL]](https://image.slidesharecdn.com/ss1ssii2022hkatoneural3drepresentationhiroharukato-220607054619-fadc6480/85/SSII2022-SS1-3D-9-320.jpg)
![ニューラル3D表現 (neural field)
3D座標 p とニューラルネットワーク f について，
f (p) が座標 p の3D情報 (モノがあるか，色，etc. ) を表す
- e.g. f (p) = 1 のときモノの内部，f (p) = 0 のとき外部
- e.g. f (p) = 0 のときモノの表面（このとき前スライドと一致）
この表現はニューラル場 (neural field) と呼ばれる
#10
ボクセル 点群 メッシュ ニューラル場 [Mescheder+ 2019]](https://image.slidesharecdn.com/ss1ssii2022hkatoneural3drepresentationhiroharukato-220607054619-fadc6480/85/SSII2022-SS1-3D-10-320.jpg)
![形以外も表現できる
テクスチャ: 点 p の色 = NN(p)
マテリアル: 点 p のマテリアル = NN(p)
シーンフロー: 時刻 t で p にある点の t + 1 での位置 = p + NN(p)
#13
[Niemeyer+ 2019]
[Oechsle+ 2019]
[Srinivasan+ 2021]](https://image.slidesharecdn.com/ss1ssii2022hkatoneural3drepresentationhiroharukato-220607054619-fadc6480/85/SSII2022-SS1-3D-13-320.jpg)
![画像からニューラル場を最適化
#15
観測画像 (2D)
カメラパラメータ
ほしいもの (3D)
[Mildenhall+ 2020]](https://image.slidesharecdn.com/ss1ssii2022hkatoneural3drepresentationhiroharukato-220607054619-fadc6480/85/SSII2022-SS1-3D-15-320.jpg)
![NeRF はきわめて高性能な自由視点画像生成手法
点の色は見る向きによって異なってもよい，とモデル化することが特徴
σ = NNσ
(p), c = NNc
(p, d)
また，微分可能ボリュームレンダリングを用いることに特徴がある
Neural radiance field (NeRF)
#18
p にモノがありそう度
3D座標
p の色
見ている向き
[Mildenhall+ 2020]](https://image.slidesharecdn.com/ss1ssii2022hkatoneural3drepresentationhiroharukato-220607054619-fadc6480/85/SSII2022-SS1-3D-18-320.jpg)
![動画への拡張
#22
[Li+ 2021]
静止した NeRF
σ = NNσ
(q)
c = NNc
(q, d)
に加えて，その変形を最適化
q = NNq
(p, t)
各フレームでの
3D座標
時刻
静止した空間
での3D座標](https://image.slidesharecdn.com/ss1ssii2022hkatoneural3drepresentationhiroharukato-220607054619-fadc6480/85/SSII2022-SS1-3D-22-320.jpg)
![動画への拡張
#23
[Park+ 2021]](https://image.slidesharecdn.com/ss1ssii2022hkatoneural3drepresentationhiroharukato-220607054619-fadc6480/85/SSII2022-SS1-3D-23-320.jpg)
![撮影条件が揃っていない写真からのNeRF
#24
[Martin-Brualla+ 2021]
- 定常的なものと一時的なもの（観光客など）の2種類の NeRF を同時学習
- 画像ごとに少し見え方が変わってもよい，とする](https://image.slidesharecdn.com/ss1ssii2022hkatoneural3drepresentationhiroharukato-220607054619-fadc6480/85/SSII2022-SS1-3D-24-320.jpg)
![画像から形状コードを推定する NNr
と，
それをデコードして形状を出力する NNd
を同時に学習
単一画像物体再構成
#26
適当な点 p
正解の
3Dモデル
画像
NNr
形状コード z
モノがある度
NNd
(p, z)
p にモノが
あるかどうか
予測誤差
再構成
学習
[Mescheder+ 2019]](https://image.slidesharecdn.com/ss1ssii2022hkatoneural3drepresentationhiroharukato-220607054619-fadc6480/85/SSII2022-SS1-3D-26-320.jpg)
![- 既存の3D表現を用いた場合と同等以上の性能
- ごく少数のパラメータで，2563
のボクセルと同程度の表現力
単一画像物体再構成
#27
[Mescheder+ 2019]](https://image.slidesharecdn.com/ss1ssii2022hkatoneural3drepresentationhiroharukato-220607054619-fadc6480/85/SSII2022-SS1-3D-27-320.jpg)
![正解の3Dモデルを持っていなくても，
レンダリングを介すれば画像を用いて学習できる
単一画像物体再構成を画像から学習
#28
適当なピクセルp の
レイ上の点{pi
} 正解の画像
画像
NNr
z
モノがある度，色
{NNd
(pi
, z)}
p の色
予測誤差
再構成
学習
Render
レンダリングされ
た色
[Niemeyer+ 2020]](https://image.slidesharecdn.com/ss1ssii2022hkatoneural3drepresentationhiroharukato-220607054619-fadc6480/85/SSII2022-SS1-3D-28-320.jpg)
![敵対的生成ネットワーク (GAN) と同様の枠組みで，3D形状の生成モデルを訓練可能
3D形状生成モデル
#29
判別器
ランダムな形
状コード z
ボクセル 本物らしい度
生成
学習
ボクセル化
ニューラル場NNd
[Chen+ 2019]](https://image.slidesharecdn.com/ss1ssii2022hkatoneural3drepresentationhiroharukato-220607054619-fadc6480/85/SSII2022-SS1-3D-29-320.jpg)
![ニューラル場，微分可能レンダリング，敵対的学習の合わせ技
3Dを介した画像生成モデル
#30
判別器
ランダムな形
状コード z
画像 本物らしい度
生成
学習
レンダリング
ニューラル場NNd
[Chan+ 2021]](https://image.slidesharecdn.com/ss1ssii2022hkatoneural3drepresentationhiroharukato-220607054619-fadc6480/85/SSII2022-SS1-3D-30-320.jpg)
![複数の要素 (e.g. 前景，背景) を別個のニューラル場で表すことで
シーン中の要素を独立にコントロールして画像を生成
3D空間での compositionality を考慮した画像生成モデル
#31
[Niemeyer & Geiger 2021] [Xue+ 2022]
前景だけ動かす 物体を増やす](https://image.slidesharecdn.com/ss1ssii2022hkatoneural3drepresentationhiroharukato-220607054619-fadc6480/85/SSII2022-SS1-3D-31-320.jpg)
![グリッドの併用によるシーン表現の効率化
#33
シーンをグリッド状に配置されたプリミティブの集合として表すことで
効率的かつ高精度に3D形状を表現できる
- 各プリミティブはニューラル場で表す
[Chabra+ 2020]](https://image.slidesharecdn.com/ss1ssii2022hkatoneural3drepresentationhiroharukato-220607054619-fadc6480/85/SSII2022-SS1-3D-33-320.jpg)
![NNを分割して街を表現
#34
[Tancik+ 2022]](https://image.slidesharecdn.com/ss1ssii2022hkatoneural3drepresentationhiroharukato-220607054619-fadc6480/85/SSII2022-SS1-3D-34-320.jpg)
![y = NN(p) は，以下の処理から成るはず
A. 座標の値 p をいい感じの内部表現に変換
B. それをデコードして3D情報 (密度 etc.) に変換
本当に重要なのはどちらか？
そこをうまく作り込めば，NN のサイズを小さくできるのでは？
ニューラル場って本当に必要？
#35
[Mildenhall+ 2020]](https://image.slidesharecdn.com/ss1ssii2022hkatoneural3drepresentationhiroharukato-220607054619-fadc6480/85/SSII2022-SS1-3D-35-320.jpg)
![レンダリングの高速化 (グリッド&ニューラル場)
#36
シーンを大きな NN 1つで表すのではなく
グリッドごとに小さな NN を持つことで
性能を落とさずレンダリングを2500倍高速化
グリッドの併用は「座標の値p を内部表現に変換」する
手間を低減することになる，はず
（個人的な解釈）
[Reiser+ 2021]](https://image.slidesharecdn.com/ss1ssii2022hkatoneural3drepresentationhiroharukato-220607054619-fadc6480/85/SSII2022-SS1-3D-36-320.jpg)
![最適化の高速化 (グリッド&ハッシュ化&ニューラル場)
#37
ハッシュ化とグリッドを駆使して p を前処理
しておくことで NN を小さくでき，最適化を4
時間から5秒にまで高速化
p を内部表現へ変換するプロセスを
人手で作り込んだものといえる
[Müller+ 2022]](https://image.slidesharecdn.com/ss1ssii2022hkatoneural3drepresentationhiroharukato-220607054619-fadc6480/85/SSII2022-SS1-3D-37-320.jpg)
![最適化の高速化 (疎なボクセル)
#38
[Yu+ 2022]
疎で高解像度のボクセルを使えば，そもそも NN を一切使わなくてもよい
- NeRFと同程度の性能
- 最適化が100倍くらい高速
正解 NeRF++ Plenoxels (No NN)](https://image.slidesharecdn.com/ss1ssii2022hkatoneural3drepresentationhiroharukato-220607054619-fadc6480/85/SSII2022-SS1-3D-38-320.jpg)
![ニューラル3D表現の最新動向 まとめ
#39
ニューラル場: NN が3D座標を受け取り，その点の3D情報を出力
- 柔軟かつコンパクトで，活用できる場面は多い
- 幾何形状 (占有率，符号付き距離，密度) のほか，色や素材，フローも表現可能
- 話題の neural radiance fields (NeRF) もニューラル場を用いている
- 条件付きニューラル場で，3D再構成や3D生成モデルも学習可能
ニューラル場を使えば万事オーケーなのか？
- 従来的な表現と組み合わせた細やかな作り込みの方が高性能
- 応用によっては，実はニューラル場は不要かも
ボクセル 点群 メッシュ ニューラル場
[Mescheder+ 2019]](https://image.slidesharecdn.com/ss1ssii2022hkatoneural3drepresentationhiroharukato-220607054619-fadc6480/85/SSII2022-SS1-3D-39-320.jpg)
SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる？？ 〜
- 2. 自己紹介 加藤大晴（かとうひろはる） - 博士（情報理工学） - Preferred Networks, Inc. リサーチャー - 3Dコンピュータビジョン - 過去の SSII - 微分可能レンダリングの最新動向 , 2020 (技術動向解説セッション ) - モダリティ変換と画像生成, 2018 (オーガナイズドセッション マルチモーダル深層学習 ) - 論文リストなど hiroharu-kato.com - 問い合わせ [email protected] #2
- 3. コンピュータビジョン？ - 2D画像から3D世界を理解する技術 - 深度推定，カメラポーズ推定，… - ほとんどの2Dのタスク (e.g. 画像識別) で間接的に3D推定が必要 - 球体（3D形状），赤い → リンゴ #3 [Szeliski 2010]
- 4. ニューラル3D表現 ニューラルネットワークで3D情報を表現 - 論文数が指数的に増加中 - CVPR 2019 で3本同時に出たのがきっかけ - いま話題の NeRF でも使用 詳細の前に，従来的な表現を復習 - ボクセル，点群，メッシュ - 深度マップ，多視点深度マップ，複数平面画像(multiplane images)，… #4 [Xie+ 2021]
- 5. ボクセル ピクセルを3Dに拡張したもの - float pixels[H][W]; - float voxels[D][H][W]; ✔ 画像を認識・生成する方法論 (CNN etc.) をほとんどそのまま使い回せる ✗ メモリ消費量が膨大で，解像度は2563 くらいが限界 - シンプルな物体ひとつなら表せるが，それ以上はきびしい #5 [Image: URL] 1603 803 403
- 6. 階層的ボクセル (octree) 細かく表現したいところだけボクセルを分割 ✔ 高解像度の表現が可能 ✗ 生成/管理が複雑 ✗ 深層学習との相性の良さが失われる #6 [Image: URL]
- 7. 点群 3Dシーンを点の集合で表現 - `float points[N][3];` ✔ ボクセルよりコンパクト - 3D空間全体ではなく，物体の表面(2D的) だけを表現すればよい ✗ 面を表現できない ✗ 深層学習で扱うのがやや難しい #7 [Image: URL]
- 8. メッシュ 3Dシーンを三角形（多角形）の集合で表現 - float vertices[N][3]; // 3D points - int faces[M][3]; // Triangles ✔ とてもコンパクト - 表面全体に点を打つ必要はない ✗ よいメッシュを得るためには職人技が必要 - 頂点数はいくつか，どこに置くか，自己交差はないか， … ✗ 深層学習で扱うのはかなり難しい - グラフ構造をどう扱うか？ #8 [Image: URL]
- 9. （非ニューラル）陰関数表現 3D座標 p と関数 f について，f (p) = 0 となるところが物体の表面 ✔ とてもとてもコンパクト ✗ 形状の作成がとても難しい ✗ 一般に，表面の位置を陽に求められない - 方程式が解析的に解けない #9 [Figure: URL]
- 10. ニューラル3D表現 (neural field) 3D座標 p とニューラルネットワーク f について， f (p) が座標 p の3D情報 (モノがあるか，色，etc. ) を表す - e.g. f (p) = 1 のときモノの内部，f (p) = 0 のとき外部 - e.g. f (p) = 0 のときモノの表面（このとき前スライドと一致） この表現はニューラル場 (neural field) と呼ばれる #10 ボクセル 点群 メッシュ ニューラル場 [Mescheder+ 2019]
- 11. ニューラル3D表現の利点 3D空間内の点 p の3D情報 = ニューラルネットワーク(p) ✔ コンパクトかつ柔軟 - 任意の解像度，トポロジーが表現できる - 表現できる3D情報の精細さ ∝ NN の表現力 ≒ パラメータ数 - NN は形状が複雑なところの表現に多数のパラメータを使おうとする，はず ✔ 形状の生成が簡単 - 教師データ (e.g. 物体内部の点と外部の点の集合 ) を用いて NN を最適化するだけ ✔ 深層学習と組み合わせるのが簡単 - システム全体をNN で構成できる #11
- 12. いろいろな形の表現 占有率: p が物体の中にある確率 = NN(p) 符号付き距離: p から物体の表面までの距離 = NN(p) - 符号がマイナスのとき物体の中，プラスなら外 - 物体の表面まで素早く到達できるので，レンダリングが高速 密度: レイが p を通るときにそこで物体にぶつかりそうな度合い = NN(p) - レイが空間中を進むときにどこでぶつかりそうか，を確率で表せる - 最適化のときに局所解に陥りにくい - NeRF (neural radiance fields) で用いられる #12
- 13. 形以外も表現できる テクスチャ: 点 p の色 = NN(p) マテリアル: 点 p のマテリアル = NN(p) シーンフロー: 時刻 t で p にある点の t + 1 での位置 = p + NN(p) #13 [Niemeyer+ 2019] [Oechsle+ 2019] [Srinivasan+ 2021]
- 14. ニューラル場の最適化 ニューラル場に変換したい3Dモデルを持っているとき， それを直に教師データとして用いて NN を最適化すればよい たとえば - モデル: p が物体の中にある確率= NN(p) - 教師データ: 3D空間内の適当な点qi とそれが物体の内部かどうかのラベルti - 損失関数: torch.binary_cross_entropy(NN(qi ), ti ) ただ，既存のモデルをニューラル場に変換したい場面は現実的にあまりない → 多視点画像からニューラル場を得られないか？ #14
- 16. 画像からのニューラル場の最適化 ニューラル場をレンダリングした画像と，観測画像との違いが 小さくなるように NN を最適化すればよい - {qi }: カメラから出発し，あるピクセルを通るレイ上の点の集合 - ct : 観測画像でのそのピクセルの色 勾配法でNNを最適化するには，レンダリング関数が微分可能でなけ ればならない - 微分可能レンダリングに関する加藤の過去の講演資料 : SSII 2020, VC 2021, CVIM 2022-03 #16 観測画像 (2D) ほしいもの (3D) レイ上の点 {qi } それぞれの点の3D情報 （モノがあるか? 色は?） NN ピクセルの色 c Render 正解 ct 誤差最小化
- 17. PFN 3D Scanner (公式ページ) #17 PR
- 18. NeRF はきわめて高性能な自由視点画像生成手法 点の色は見る向きによって異なってもよい，とモデル化することが特徴 σ = NNσ (p), c = NNc (p, d) また，微分可能ボリュームレンダリングを用いることに特徴がある Neural radiance field (NeRF) #18 p にモノがありそう度 3D座標 p の色 見ている向き [Mildenhall+ 2020]
- 19. NeRFの最適化 #19 1. 訓練画像からランダムにピクセルを選ぶ 2. そのピクセルを通るレイ上で，たくさんの点を適当に選び その点にモノがありそうか，その点の色を NN に問い合わせる 3. カメラから出発してピクセルに向かって進んでいくと どのあたりでモノにぶつかるか，の確率分布を計算する 4. それをもとにピクセルの色の期待値を計算する 5. それが正解のピクセルの色に近付くように NN を最適化する 後述
- 22. 動画への拡張 #22 [Li+ 2021] 静止した NeRF σ = NNσ (q) c = NNc (q, d) に加えて，その変形を最適化 q = NNq (p, t) 各フレームでの 3D座標 時刻 静止した空間 での3D座標
- 24. 撮影条件が揃っていない写真からのNeRF #24 [Martin-Brualla+ 2021] - 定常的なものと一時的なもの（観光客など）の2種類の NeRF を同時学習 - 画像ごとに少し見え方が変わってもよい，とする
- 25. 1シーン or 1物体についてそれぞれ NN を最適化するのは大変 - クルマが1000台あったとして，NN を1000個用意するのか？ - 1つのNNでいろいろなシーンを表現できないか？ 条件付きニューラル場: シーンを表現する特徴ベクトルを z として， 3D情報 = NN(p, z) とすることで，ひとつの NN でいろいろな3Dシーンを表現 - 応用1: 単一画像3D物体再構成 - 応用2: 3Dシーンの生成モデル 条件付きニューラル場 #25
- 26. 画像から形状コードを推定する NNr と， それをデコードして形状を出力する NNd を同時に学習 単一画像物体再構成 #26 適当な点 p 正解の 3Dモデル 画像 NNr 形状コード z モノがある度 NNd (p, z) p にモノが あるかどうか 予測誤差 再構成 学習 [Mescheder+ 2019]
- 28. 正解の3Dモデルを持っていなくても， レンダリングを介すれば画像を用いて学習できる 単一画像物体再構成を画像から学習 #28 適当なピクセルp の レイ上の点{pi } 正解の画像 画像 NNr z モノがある度，色 {NNd (pi , z)} p の色 予測誤差 再構成 学習 Render レンダリングされ た色 [Niemeyer+ 2020]
- 29. 敵対的生成ネットワーク (GAN) と同様の枠組みで，3D形状の生成モデルを訓練可能 3D形状生成モデル #29 判別器 ランダムな形 状コード z ボクセル 本物らしい度 生成 学習 ボクセル化 ニューラル場NNd [Chen+ 2019]
- 31. 複数の要素 (e.g. 前景，背景) を別個のニューラル場で表すことで シーン中の要素を独立にコントロールして画像を生成 3D空間での compositionality を考慮した画像生成モデル #31 [Niemeyer & Geiger 2021] [Xue+ 2022] 前景だけ動かす 物体を増やす
- 32. ニューラル3D表現の欠点 ✗ 多数の点を NN にクエリする必要があり，形状推定/レンダリングが遅い - ロボットの物体把持（形状推定） - インタラクティブな可視化（レンダリング） ✗ 単純な NN ですべてを表すのは効率的ではないかもしれない - 地球全体をひとつのNN で表すべきか？NYのことを考えながら東京を最適化するか？ - 局所的には共通の部品があるのでは？(e.g. クルマが100台並んでいるとき) ✗ 人間による編集が難しい - VR/ゲーム/映画向けの3Dアセット作成などで重要 #32
- 35. y = NN(p) は，以下の処理から成るはず A. 座標の値 p をいい感じの内部表現に変換 B. それをデコードして3D情報 (密度 etc.) に変換 本当に重要なのはどちらか？ そこをうまく作り込めば，NN のサイズを小さくできるのでは？ ニューラル場って本当に必要？ #35 [Mildenhall+ 2020]
- 36. レンダリングの高速化 (グリッド&ニューラル場) #36 シーンを大きな NN 1つで表すのではなく グリッドごとに小さな NN を持つことで 性能を落とさずレンダリングを2500倍高速化 グリッドの併用は「座標の値p を内部表現に変換」する 手間を低減することになる，はず （個人的な解釈） [Reiser+ 2021]
- 37. 最適化の高速化 (グリッド&ハッシュ化&ニューラル場) #37 ハッシュ化とグリッドを駆使して p を前処理 しておくことで NN を小さくでき，最適化を4 時間から5秒にまで高速化 p を内部表現へ変換するプロセスを 人手で作り込んだものといえる [Müller+ 2022]
- 38. 最適化の高速化 (疎なボクセル) #38 [Yu+ 2022] 疎で高解像度のボクセルを使えば，そもそも NN を一切使わなくてもよい - NeRFと同程度の性能 - 最適化が100倍くらい高速 正解 NeRF++ Plenoxels (No NN)
- 39. ニューラル3D表現の最新動向 まとめ #39 ニューラル場: NN が3D座標を受け取り，その点の3D情報を出力 - 柔軟かつコンパクトで，活用できる場面は多い - 幾何形状 (占有率，符号付き距離，密度) のほか，色や素材，フローも表現可能 - 話題の neural radiance fields (NeRF) もニューラル場を用いている - 条件付きニューラル場で，3D再構成や3D生成モデルも学習可能 ニューラル場を使えば万事オーケーなのか？ - 従来的な表現と組み合わせた細やかな作り込みの方が高性能 - 応用によっては，実はニューラル場は不要かも ボクセル 点群 メッシュ ニューラル場 [Mescheder+ 2019]