AniPortrait

AniPortrait 是一个由音频驱动的真实肖像动画合成框架，能够生成高质量的面部动画，并提供人脸再现功能。

通过使用多种预训练模型，包括 StableDiffusion V1.5、sd-vae-ft-mse、image_encoder和wav2vec2-base-960h，该项目实现了从音频和参考肖像图像驱动的高质量动画生成。

通过提取音频中的3D中间表现形式并转换为2D面部标志，进而利用扩散模型和运动模块生成逼真且时间上连贯的肖像动画。