本文详细介绍了如何在Omniverse中安装LocalNucleusServer,如何通过Audio2Face工具将亚洲人Claire面孔导出为USD文件,并在UnrealEngine中导入并驱动面部动画。同时提到了避免文件损坏的重要性以及可能遇到的问题解决方案。 摘要由CSDN通过智能技术生成

开始之前还是那句话,别轻易 保存 任何内容,尤其是程序员不要轻易 Ctrl + S ,如果文件损坏了,可以加 QQ群 或者加我QQ重新要一份模板

如果没有看上篇内容,先去看上篇 用Audio2Face驱动UE - MetaHuman ,不然这篇缺少东西你可能不知道为啥

  1. 打开 Omniverse NUCLEUS 面板 ,在 Omniverse 一栏下选择 Add Server ,并且增加一个 Local Nucleus Server (按照自己所需配置就好)
  2. 安装完成后,部分机器可能需要重启,然后启动你刚下载好的 Local Nucleus Server

导出 .USD 文件

  1. 打开 Audio2Face ,找到 Al Models 面板,然后选择亚洲人 Claire 面孔,当然因项目而异啊。
  2. 导入 claire_bs_46.usd 文件,选择后拖入到 Stage 面板下就行,记得把两个文件分开,不然叠在一起,后面看的不明显。
  3. 打开 A2F Data Conversion 面板,设置绑定 BS 的相关转换,选择 BLENDSHAPE & JOINT CONVERSION 模块,分别设置输入的动画网格和输出的 BS 网格,最后点击 SET UP BLENDSHAPE SOLVE (处理),得到处理结果。
  4. 回到 Audio2Face Tool 面板,选择自己的音轨,设置表情之类后进行播放,可以看出二者相同了,这时候证明我们的绑定是没有任何问题的,如果有问题则返回上边重新过一遍。
  5. 重新回到 A2F Data Conversion 面板,设置导出路径,文件名字,已经导出格式设置为 USD ,接着导出
    1. 如果报错 [ Export ] No solver selected ,或者弹出以下窗口,则先选择所要导出的解算器,再导出。
  6. 至此,导出 USD 文件完成, 切记不要保存任何内容,除非你复制一份新的usd文件出来,不然你之后所用到的文件就都是你所保存的内容了。 件如果保存了,则来加 QQ群 ,重新要一份亚洲人面孔的模板吧,我放到群文件中了。

UE 中导入 USD 文件。并且驱动面部动画

  1. 在内容 (Contents) 文件夹下任意位置, 后选择 Import USD Aniation 导入 USD 文件
  2. 选择要导入的 USD 文件,接着在动画一栏的骨架( Skeleton )选择为 Face_Archetypr_Skeleton ,Animation Source 则选为 Audio2Face MetaHuman Curves ,接着ok导入。
    接着就看到我们导入成功
  3. 接着我们点击动画进行播放,然后和 Audio2Face 中的模型进行比对,看的出来哈,还是差不多的,可能部分细节还有待改进,但总的来说,是比较靠谱的。
  4. 再就是用你 Audio2Face 中的音轨,在 UE 中和动画资产一起制作一个关卡序列进行播放就好,可能有的人觉得音频和动画对不上,可以稍微把动画资产往后拖 4 - 6 ,这个是因为我们在 Audio2Face 中的预处理( PRE-PROCESSING )面板下,系统默认给的延迟是 0.15s ,当然这个也可以自己改。
  5. 好了,本篇文章完成,之后我会整理一篇 Audio2Face导出 Unity 动画 的相关文章,有需要的可以关注下
基于学习的个性化头姿势的音频 驱动 的会说话的 面部 视频生成 我们为arxiv论文“基于学习的个性化头部姿势的音频 驱动 的有声 面部 视频生成”( )提供PyTorch实施。 请注意,此代码受专利保护。 仅出于您的大学(研究机构)的研究目的。 如果您对商业目的/营利目的感兴趣,请联系刘教授(通讯作者,电子邮件: )。 我们提供了一个演示视频(请在此页面中搜索“ Talking Face ”,然后单击“演示视频”按钮)。 我们的拟议框架 Linux或macOS NVIDIA GPU 的Python 3 的MATLAB 您可以创建一个虚拟环境,并通过以下方式安装所有依赖项: pip install -r requirements.txt 下载预训练的模型 包括预训练的通用模型和 面部 重建,身份特征提取等所需的模型 从(提取代码:usdm)或下载,然后复制到相应的子文件夹(