元宇宙的爆发让数字人成为了触达虚拟世界的关键钥匙，而引入生成式 AI 技术则将进一步提升数字人的逼真度和互动性。此前的版本NVIDIA Omniverse Audio2Face 只是支持英文，而在最新的EA2测试版中，完美世界游戏已经率先基于中文语料与口型的应用研究，而整体的效果确实表现符合预期。
NVIDIA Omniverse Audio2Face 借助生成式 AI，即时从音频源创建面部表情动画，从而完成对数字人面部动画的创建实现自动化生产。Omniverse Audio2Face允许将音频输入输入到基于NVIDIA的预先训练的深度神经网络中，网络的输出实时驱动3D角色的面部动画。
目前的开发中，采集实时的真实录音与音频样本，录制语音音轨，然后输入到该Audio2Face 中，可以快速生成相应的对话。根据官方介绍，Audio2Face甚至可以通过麦克风实时生成面部动画。
对于数字人的支持相对丰富且自然，还可以使用 Audio2Face 重新定位至不同的 3D 面孔。只需单击几下，即可快速变换角色（无论是人类还是动物角色），可实现瞬间变换面孔的角色转换。
此外，开发来说，运行多个 Audio2Face 实例也是允许的，可以任意指定场景中的角色数量，所有角色均可通过相同或不同的音轨制成动画。还可以对每个面部表情的细腻程度进行调整，并从多个音频源批量输出多个动画文件。
数据完成后，也可以尝试各种各样的调整功能。Audio2 Face选项卡有各种各样的调整参数，“POST-PROCESING”可以调整面部动作本身，“EMOTION”可以通过改变神经模式来附加感情。用别人的手附加真实的感情是相当困难的。所谓人性化，比起本人，其他人俯瞰更容易理解那个人自身的特征，也许是让AI判断比较好的领域。
Omniverse使用USD格式，但USD格式本身可以在Blender，Maya2022、ZBrush中正常导出（ZBrush时需要使用Zplugin）。即使是Maya2019等版本，只要从NVIDIA Omniverse Launcher下载Maya Connector，就可以以USD形式输出，非常方便且适合不同习惯的开发人员使用。Omniverse 和 Audio2Face 使用的 USD、JSON 格式与其他软件的可交互性强且易于解析，为数字人制作生产带来了显著的帮助。NVIDIA Omniverse 赋能的 Blender 分支具备强大的 USD 导入和导出功能，带来了更多便利。
借助 NVIDIA ACE，完美世界游戏能够在软件或游戏中构建和部署自定义语音、对话和动画 AI 模型，实现 AI 驱动的自然语言交互，并将 NVIDIA Omniverse Audio2Face 与其在研的虚拟数字人相结合，通过语音生成表情、口型、肢体动作等，为众多游戏场景实现电影级过场动画的自动化生成，以及更逼真的交互式游戏 NPC。NVIDIA ACE 与 NVIDIA Omniverse Audio2Face 二者协同，帮助其打造出了无需脚本的逼真数字人互动。
NVIDIA Omniverse Audio2Face 与 NVIDIA ACE 可以流式传输面部动画和音频，只需简单配置，便可设置 MetaHuman 角色以接收流式面部动画。通过使用 Audio2Face Live Link 插件，开发工程师可以将动画面部混合形状权重和音频流式传输到虚幻引擎中，以便在角色上播放
借助 NVIDIA ACE，完美世界游戏能够在软件或游戏中构建和部署自定义语音、对话和动画 AI 模型，实现 AI 驱动的自然语言交互，并将 NVIDIA Omniverse Audio2Face 与其在研的虚拟数字人相结合，通过语音生成表情、口型、肢体动作等，为众多游戏场景实现电影级过场动画的自动化生成，以及更逼真的交互式游戏 NPC。此外，开发来说，运行多个 Audio2Face 实例也是允许的，可以任意指定场景中的角色数量，所有角色均可通过相同或不同的音轨制成动画。
CSDN-Ada助手:
LeetCode 剑指offer刷题记录（Day1 No.01~No.05）
CSDN-Ada助手:
