《 Acquiring High-Fidelity 3D Avatar from a Single Image》笔记

本文链接：https://blog.csdn.net/packdge_black/article/details/106339974

摘要

本文提出一种，从单个图像生成，具有高分辨率UV纹理贴图的，高保真的，3D面部头像的方法。为了评估人脸的几何形状，我们使用深度神经网络直接根据给定的图像，预测3D人脸模型的顶点坐标。通过非刚性变形过程进一步完善了3D面部几何形状，以便在纹理投影之前更准确地捕获面部标志。文章方法的关键新颖之处在于，在使用高质量渲染引擎综合生成的面部图像上训练形状回归网络。此外，作者形状估算器，充分利用了，从数百万张面部图像中学到的，深度面部识别功能的辨别力。作者进行了广泛的实验，以证明优化2D到3D渲染方法的优越性，尤其是其在现实世界中自拍图像上的出色泛化特性。作者提出的从2D图像渲染3D化身的系统具有广泛的应用范围，从虚拟/增强现实（VR / AR）和望远镜技术到人机交互和社交网络。

--------------------------------------这是注释-------------------------------------------

关于UV纹理贴图：

1、SketchUV（UV贴图工具）是SketchUp里面一个贴图插件。

2、UVW贴图一般都是贴图坐标丢失时使用，也可以用在自己想把贴图位置详细设置的时候使用。因为贴图一般是平面的，所以贴图坐标一般只用到UV两项，W项很少用到。大家常说的要调整UV坐标，实际就是调整贴图在模型上的位置。

投影贴图，球形贴图，柱形贴图，Box贴图，四边面贴图，路径贴图；

非刚性变形（non-rigid deformation）

只有物体的位置(平移变换)和朝向(旋转变换)发生改变，而形状不变，得到的变换称为刚性变换。非刚性变换就是比这更复杂的变换，如伸缩，仿射，透射，多项式等一些比较复杂的变换。

例如：ps中自由变换命令里面的斜切、扭曲、透视这些功能就属于非刚性变换

-------------------------------------------------------------------------------------------------------------------------------------

1. Introduction

在许多视觉应用程序中，包括VR / AR，电话会议，虚拟试戴，计算机游戏，特效等，获取高质量3D化身是一项基本任务。大多数专业制作工作室采用的一种常见做法是，由熟练的艺术家根据3D扫描或照片参考手动创建化身。由于每个模型都需要数天的人工处理和润色，因此此过程通常很耗时且人工密集。期望通过利用计算机视觉/图形和图像/几何处理中的快速发展来自动化3D化身生成的过程。

开发用于从单个图像生成3D化身的全自动系统很具有挑战性，因为面部形状和纹理贴图的估计都涉及光，形状和表面材料的本质上模糊的组成。传统的智慧试图通过逆向渲染来解决这个问题，逆向渲染将图像分解位置公式化为优化问题，并估计最适合观察图像的参数。但是，这些现有方法通常会假设将照明，阴影和皮肤表面模型过度简化（over-simplifified），这些模型并没有考虑到现实世界中的复杂性（例如，表面下的散射，自闭（未理解，低头？）引起的阴影以及复杂的皮肤反射场）。因此，恢复的3D化身通常不会如实反映图像中呈现的实际面孔。

为了面临这些困难，作者提出了一种新颖的半监督方法。在使用医疗级3D面部扫描仪收集和处理482次中性面部扫描后，作者使用形状增强并利用了高保真渲染引擎，从而创建大量逼真的面部图像。据作者所知，这项工作是首次利用照片级逼真的面部图像合成进行准确的面部形状的尝试。对于面部几何形状估计，作者建议首先提取在数百万个图像上训练的深层面部身份特征，该特征将每个面部编码为唯一的潜在表示，并对一般三维头部模型的顶点坐标进行回归。为了更好地捕获纹理投影的面部特征，通过联合优化相机固有的、头部姿态、面部表情和每个顶点的校正场，以非刚性的方式进一步重新细化顶点坐标。作者最终生成的模型包括一个具有低多边形数的形状模型，但具有清晰细节的高分辨率纹理贴图，即使在移动设备上也可以有效地渲染（如图1所示）。

接下来对比了一些其他方法的3D AVATARS，优缺点。

文章的主要贡献可以总结如下：