知来者逆的博客

AVI-Talking 的目标是根据语音片段生成具有同步嘴唇动作和一致面部表情的三维动画人脸。它不是根据直接语音合成会说话的人脸，而是利用大规模语言模型来有效指导生成过程。下图概述了 AVI-Talking 系统的流程。该系统由两个主要阶段组成：第一个阶段是 “通过 LLMs 进行视听教学”。第二个阶段是 “会说话的面部 指令系统”。在这里，三维面部动作是根据指导实时合成的。其目的是从输入语音中生成三维参数系数的时间序列。这种方法能够真实地再现说话者的自然面部表情和嘴部动作，为观众提供更逼真的视觉体验。

总之，音频驱动机器人代表了人工智能的突破性进步，提高了它们更高效、更直观地执行任务的能力。尽管存在隐私问题、数据偏见和安全隐患等挑战，但正在进行的研究和道德考量预示着这些机器人未来将无缝融入我们的日常生活。从家庭助理到工业和医疗保健应用，音频驱动机器人的潜力巨大，它们的持续发展将显著改善许多领域的生活质量。

LivePortrait的相关技术点，已在快手的诸多业务完成落地，包括快手魔表、快手私信、快影的AI表情玩法、快手直播、以及快手孵化的面向年轻人的噗叽APP等，并将探索新的落地方式，持续为用户创造价值。此外，LivePortrait会基于可灵基础模型，进一步探索多模态驱动的人像视频生成，追求更高品质的效果。

数字人类曾经是简单的聊天机器人，经常误解问题，这让许多人感到沮丧。现在，他们已经发展成为先进的虚拟代理，可以像最好的客户服务代表一样有效地沟通，拥有专家级的知识，并且看起来与真人惊人地相似。这些先进的数字生物所做的不仅仅是为客户服务添加一个面孔；它们正在彻底改变我们思考和使用人工智能的方式。他们正在承担过去只能由人类完成的复杂任务，从处理客户查询到执行专门的后端操作。让我们深入了解数字人类如何重塑我们在日常生活中与技术的互动。

在ICCV所取得的成果基础上，我们将继续深化和完善我们的捕获、建模和合成技术。我们所有工作的一条核心原则是：构建所需，并运用所构建。换言之，我们遵循着“吃自己的狗粮”的行业术语，意味着我们所展示的一切都是基于我们之前的工作构建的。你可以期待，我们未来的工作将继续以前进在ICCV的工作为基础。尽管该领域已经取得了显著的进展，但在野外视频捕获方面仍存在挑战。我们特别专注于提取具有丰富面部和手部表现力的人体动态。

在这项研究中，主要目标是在文本到视频 （T2V） 模型中实现特定于 ID 的内容生成。为此，本文引入一个 ID-Animator 框架来驱动 T2V 模型使用 ID 图像生成特定于 ID 的人类视频。通过基于公开可用资源构建面向 ID 的数据集，结合解耦字幕生成和人脸池构建，促进 ID-Animator 的训练。此外，本文开发一种随机人脸参考训练方法，以最大限度地减少参考图像中与 ID 无关的内容，从而将适配器的注意力引导到与 ID 相关的特征上。

AniTalker是一款先进的AI驱动的动画生成工具，它超越了简单的嘴唇同步技术，能够精准捕捉并再现人物的面部表情、头部动作以及其他非言语的微妙动态。这不仅意味着AniTalker能够生成嘴型精准同步的视频，更重要的是，它还能够呈现自然流畅的表情变化和动作，使得最终的动画效果更加逼真，更具吸引力。通过AniTalker，动画制作不再局限于专业的动画师或高昂的制作成本。现在，任何拥有一张人物照片和相应的音频文件的用户，都能够轻松制作出高质量的说话动画视频，这极大地拓宽了个人表达和创意创作的边界。

AniPortrait，这是一个新颖的框架，旨在生成由参考肖像图像和音频样本驱动的高质量动画。只需输入参考图像和音频剪辑，AniPortrait 框架就能够生成具有自然头部运动和平滑嘴唇运动特征的肖像视频。通过利用扩散模型强大的泛化能力，AniPortrait 框架生成的动画能够显示令人印象深刻的逼真图像质量和逼真的运动。 AniPortrait 框架的工作分为两个阶段。首先，AniPortrait 框架从音频样本中提取中间 3D 表示，并将它们投影到一系列 2D 面部标志中。接下来，该框架采用鲁棒的扩散模

AI数字人面部与肢体的驱动算法是数字人研发中至关重要的一环，它能够有效降低VR Chat、虚拟直播和游戏NPC等应用场景中的成本。随着技术的发展，基于语音的面部、肢体和手部动作生成模型已经逐步成熟并得到广泛应用。然而，当尝试将这些独立模型生成的动画结果进行混合时，往往会导致整体动画效果的不协调。为了解决这一问题，研究人员开始探索采用统一的框架来同步生成面部表情和肢体动作，以期达到更自然、协调的动画效果。

本文介绍了一种新颖的人体图像动画方法，将SMPL 3D参数化人体模型与潜在扩散模型相结合，旨在增强姿势对齐和动作指导。通过利用SMPL模型提供的形状和姿势变化的统一表示，以及深度、法线和语义地图，该方法进一步提高了捕捉真实人体运动和形状的能力。基于骨架的运动指导和自注意机制的特征图集成进一步优化了动画过程，使得创造更准确反映人体解剖和运动的动态视觉内容成为可能。在各种数据集上的实验验证证实了这种方法在产生高质量人体动画方面的有效性，展示了它在需要详细和逼真的人体表现的领域中推进数字内容创作的潜力。

本文旨在探索一种更有效的解决方案，以实现高效、高保真的说话肖像合成。基于之前的研究，我们注意到不同的空间区域对于说话肖像的外观的贡献并不相等：（1）在体渲染中，由于只有表面区域有助于表示动态头部，因此大多数其他空间区域是无用的，且头部的表面结构较为简单，可以进一步探索如何使用一些高效NeRF技术进行修剪，以降低训练难度；（2）由于不同的面部区域与语音音频具有不同的关联，因此不同的空间区域以其独特的方式与音频信号固有地相关，并表现出独特的音频驱动的局部运动。

在制作会说话的头像（Talking Head Generation）时，会面临一些挑战，比如头部运动不自然、面部表情扭曲，甚至人物的身份似乎发生了变化。这些问题通常是由于直接从二维图像中学习头部和面部的运动，而这些二维图像中的运动信息是复杂相互关联的。同样，即使使用三维信息，也可能会遇到表情僵硬和视频不连贯的问题。

神经辐射场（NeRF）是一种利用神经网络来表示和渲染复杂的三维场景的方法。它可以从一组二维图片中学习出一个连续的三维函数，这个函数可以给出空间中任意位置和方向上的颜色和密度。通过体积渲染的技术，NeRF可以从任意视角合成出逼真的图像，包括透明和半透明物体

wav2lip提出了一个专家口型同步判别器，该判别器在真实视频中进行预训练，并包含多帧信息，可用于判断音频和口型是否同步。实验证明，相比于基于像素的人脸重建方法，这个专家判别器在口型同步判别任务上更为准确。在训练阶段，该专家判别器保持冻结状态，以确保其判断结果不受伪影的干扰。

相比于Wav2Lip和DreamTalk，EMO的方法具有以下优势：首先，Wav2Lip合成的嘴部区域模糊，而EMO方法能够生成更清晰的嘴部图像。其次，DreamTalk的样式剪辑可能扭曲原始面部，限制了面部表情和头部动作的动态性，而EMO的方法能够生成更多样的头部动作和更动态的面部表情。值得注意的是，EMO的方法不使用直接信号来控制角色运动，而是直接由音频驱动，这使得在生成过程中能够更好地保持角色的一致性和流畅性。

DreamTalk是一个基于扩散的音频驱动的富有表现力的说话头生成框架，可以生成不同说话风格的高质量的说话头视频。DreamTalk对各种输入表现出强大的性能，包括歌曲、多语言语音、噪声音频和域外肖像。

你只需要提供一张人物的静态照片和一段语音录音，VividTalk就能将它们结合起来，制作出一个看起来像是实际说话的人物的视频。而且面部表情和头部动作都很自然，口型可以同步、支持多种语言，不同风格，如真实风格、卡通风格等。

这个是一个使用ER-NeRF来实现实时对话数字人、口播数字人的整体架构，其中包括了大语言回答模型、语音合成、成生视频流、背景替换等功能，项目对显存的要求很高，想要达到实时推理的效果，建议显存在24G以上。

训练ER-NeRF或者RAD-NeRF时，在数据处理时，其中有一步是要把人像分割出来，而且人像要分成三块，人的头部，人的有脖子，人的身体部分，这一步关系要模型最终的效果，这是为了优化分割效果。

win下安装pytorch3d的方法，PyTorch3D 是 Facebook AI Research (FAIR) 开发的一个用于 3D 计算机视觉任务的开源深度学习库。它是建立在 PyTorch 框架之上的，并旨在为研究人员和工程师提供处理 3D 数据、渲染和几何计算的工具和模块。

ER-NeRF是基于NeRF用于生成数字人的方法，可以达到实时生成的效果。具体来说，为了提高动态头部重建的准确性，ER-NeRF引入了一种紧凑且表达丰富的基于NeRF的三平面哈希表示法，通过三个平面哈希编码器剪枝空的空间区域。对于语音音频，ER-NeRF提出了一个区域关注模块，通过注意机制生成区域感知的条件特征。与现有方法不同，它们使用基于MLP的编码器隐式学习跨模态关系不同，注意机制建立了音频特征和空间区域之间的明确连接，以捕获本地动作的先验知识。

真人视频三维重建数字人的源码与训练方法，算法是基于NeRF改进的RAD-NeRF，可以实现实时对话的数字人效果。

基于NeRF和VITS的实时对话数字人，可以数字主播，问询数字人。

这是一个实时对话数字人的项目，从零开始搭建一个属于自己的虚拟数字人，能实现实时对话等功能。