为了提高虚拟现实体验的逼真度,Facebook Reality Labs的研究人员开发了名为“Codec Avatars”的革命性系统。这个实时动画系统能够逼真地将用户及其动作映射至虚拟角色,包括皮肤皱褶和面部表情等等。
Facebook研究科学家Shih-En Wei表示:“我们的研究证明,可以通过VR头显中的摄像头来精确地制作照片级真实感的虚拟角色。”
延伸阅读:Facebook 50年征途:Codec Avatars,创造逼真虚拟角色
据介绍,除了通过摄像头进行追踪之外,基于对抗生成网络(Generative Adversarial Networks;GAN)的人工智能技术将执行一致的多视图图像样式转换,从而自动将HMC红外图像转换成逼真的虚拟角色图像。
Shih-En Wei进一步解释说:“不仅只是稀疏的面部特征,利用每个像素和3D虚拟角色的渲染来比较这种转换的图像,我们能够通过可微分渲染在精确映射摄像头图像和3D虚拟角色状态之。在映射建立之后,我们训练神经网络实时地根据最小集摄像头图像预测面部参数。”
Facebook团队将于7月28日-8月1日举行的SIGGRAPH 2019大会中展示他们的VR实时面部动画系统。SIGGRAPH 2019大会将于7月28日至8月1日在美国洛杉矶会展中心举行。届时Facebook Reality Labs团队将介绍他们的研究成果,同时展示实时面部动画系统。
原文链接:https://yivian.com/news/63025.html
来源:映维网