单视图3D头发数字化的最新进展使得高质量CG角色的创建变得可扩展，并且可供最终用户访问，从而能够实现新形式的个性化VR与游戏体验。为了处理头发结构的复杂性和多样性，大多数尖端技术依赖于从综合头发数据库中成功检索出特定的头发模型。
这种基于数据的方法需要大量的存储，而且容易因为高度无约束的输入图像，异国发型，无效的面部检测而导致失败。为此，由Snap，Pinscreen和南加州大学研究人员组成的团队提出，通过体三维变分自动编码器的紧凑latent space来隐式表示3D发型的多样性，而不是直接使用大量的3D头发模型。
这种深度神经网络主要通过3D头发模型的体三维定向场表征进行训练，并且可以根据一个压缩代码合成新的发型。为了实现端到端的3D头发推理，研究人员训练了一个额外的回归网络，令其根据任何输入图像预测变分自动编码器latent space中的代码。然后，系统可以根据预测的体三维表征生成丝缕级别的发型。
研究人员表示：“他们的全自动框架不需要任何的临时面部拟合，中间分类和分割，或者发型数据库检索。与最先进的数据驱动型头发建模技术相比，他们的头发合成方法明显更加强大，并且可以处理更广泛的发型变化，以及具有挑战性的输入，包括低分辨率，过度曝光或含有极端头部姿势的照片。”
这种方法对存储要求非常小，并且可以在一秒钟内根据图像产生3D头发模型。团队指出，他们的评估同时表明系统可以根据高度风格化的卡通图像，非人类主体，以及从人体背面拍摄的图片成功进行重建。另外，他们的方法特别适用于不同发型之间的连续和合理的头发插值。
相关论文：3D Hair Synthesis Using Volumetric VAEs
来源：93913
