StyleTalk: 一键生成可控说话风格的动态人头

尚竹兴

于 2025-04-10 11:42:28 发布

阅读量241

点赞数 3

本文链接：https://blog.csdn.net/gitblog_00907/article/details/147115123

版权

StyleTalk: 一键生成可控说话风格的动态人头

styletalk 项目地址: https://gitcode.com/gh_mirrors/st/styletalk

1. 项目介绍

StyleTalk 是一个基于深度学习的项目，能够根据指定的风格参考视频，生成具有特定说话风格的动态人头视频。该技术可在虚拟现实、动画制作以及交互式媒体等领域有广泛的应用。

2. 项目快速启动

环境准备

在开始之前，请确保您的系统已安装以下环境：

Python 3.7.0
Conda
CUDA 11.1
GPU RTX 3090（推荐）

克隆仓库

首先，从GitHub上克隆StyleTalk项目：

git clone https://github.com/FuxiVirtualHuman/styletalk.git
cd styletalk

安装依赖

接下来，创建一个虚拟环境并安装所需的Python包：

conda create -n styletalk python=3.7.0
conda activate styletalk
pip install -r requirements.txt

安装PyTorch及其相关依赖：

conda install pytorch==1.8.0 torchvision==0.9.0 torchaudio==0.8.0 cudatoolkit=11.1 -c pytorch -c conda-forge

最后，更新FFmpeg：

conda update ffmpeg

运行示例

下载预训练的模型权重，并放置在项目中的checkpoints文件夹里。然后运行以下命令来生成演示视频：

python inference_for_demo.py \
--audio_path samples/source_video/phoneme/reagan_clip1_seq.json \
--style_clip_path samples/style_clips/3DMM/happyenglish_clip1.mat \
--pose_path samples/source_video/3DMM/reagan_clip1.mat \
--src_img_path samples/source_video/image/andrew_clip_1.png \
--wav_path samples/source_video/wav/reagan_clip1.wav \
--output_path demo.mp4