腾讯发布了AniPortrait:
使用音频+参考肖像图生成高质量动画/视频
分两阶段生成:
1)从音频中提取3D中间表示,并将它们投影到一系列2D面部标志点上
2)利用一个结合了运动模块的扩散模型,将标志点序列进一步转化为具有高视觉质量的动画
还可用于面部运动编辑和重现
AI news tracing site
使用音频+参考肖像图生成高质量动画/视频
分两阶段生成:
1)从音频中提取3D中间表示,并将它们投影到一系列2D面部标志点上
2)利用一个结合了运动模块的扩散模型,将标志点序列进一步转化为具有高视觉质量的动画
还可用于面部运动编辑和重现