[发明专利]快速和深度脸部变形

说明书

根据至少一个实施例，一种用于生成脸部模型的网格变形的方法包括：通过应用第一多个神经网络训练的模型来生成第一多个变形图；基于所述第一多个变形图提取第一多个顶点偏移；以及将所述第一多个顶点偏移应用于所述脸部模型的中性网格以生成所述脸部模型的所述网格变形。

对(一个或多个)相关申请的交叉引用

本申请要求2020年10月7日提交的美国申请No.17/065,423以及2020年5月8日提交的美国临时专利申请No.63/022,398的优先权，其中的所有申请的内容由此通过引用以其整体并入本文中。

背景技术

计算机动画和其它计算机建模应用组合了对象或角色的二维(2D)或三维(3D)模型以及它们对应的编程的或形成关键帧(keyframe)的移动。这些模型由3D坐标系中的几何顶点、面和边来构造。计算机动画的一种形式牵涉将3D模型附加到近似骨架的变换分层结构(hierarchy)以支配对象或角色的移动。骨架由表示对象或角色的边界的表面网格包围。3D表面网格可以具有高水平的分辨率，并包括构成网格表面的各种大小的多边形或面，且表面网格可以如由动画制作人员或其它操作人员要求地被成形和变形，以实现期望的结果。

当将影片质量角色装备(rig)与为实时应用所设计的装备进行比较时，在网格变形的质量中存在清楚的差异。实时装备受计算预算限制，并且经常用真实性换取性能(performance)。影片质量装备不具有这种相同的限制，并且角色装备人员(rigger)可以使装备与实现真实变形所必需的一样复杂。

具体地，包括在用于诸如视频游戏和虚拟现实之类的交互式应用的角色装备中的细节水平受计算约束限制(例如，移动装置可能具有比计算机服务器的网络更少的处理能力)。这些类型的装备需要实时运行，并且因此需要能够以在没有过多延迟的情况下支持用户交互性的速率进行评估。由于这种限制，角色装备通常缺乏高水平的真实性。另一方面，影片质量角色装备不受计算约束限制，并且它们的网格变形可以显得更真实得多。

因为影片质量装备要求更大的计算能力，所以影片质量角色装备不旨在用于交互式应用。在花费巨大努力来优化和并行化装备评估之后，单个影片质量装备可以能够在高端硬件上实时运行。为了增加交互式应用的真实性，使用这些高质量的装备是可期望的，但是由于交互式实时要求，将计算密集的装备直接插入交互式应用中是不切实际的。

因此，现有的系统和方法不能为减少用于供实时应用使用的影片质量装备的网格变形所要求的计算提供解决方案。因此，确定用于供实时应用使用的影片质量装备(或接近影片质量装备)的网格变形是有利的。

此外，影片质量角色通常显示高度复杂和富于表情的脸部变形。用于对角色的脸的变形进行动画制作的底层(underlying)装备通常在计算上是昂贵的，以要求高端硬件以交互速率使网格变形。

发明内容

本公开的方面涉及用于角色的脸(或头)的装备。例如，根据至少一个实施例公开了用于复杂的影片质量脸部装备的基于深度学习的近似方法。所公开的方法显著地减小了变形评估时间，并且其提供了供与反向运动学一起使用的可微分模型。根据至少一个实施例，所述方法使用卷积神经网络(CNN)以用于近似角色脸的网格变形。

本公开的实施例包括用于近似用于角色脸部装备的网格变形的系统和方法。与影片质量角色装备的原始变形计算相比，本公开的实施例导致评估时间的显著减少。本公开的各种实施例包括用于学习针对角色脸部装备的在计算上较不昂贵的近似的数据驱动的方法，所述近似充分压缩计算以使得影片质量装备能够在实时交互式应用中被近似。

根据至少一个实施例，用于生成脸部模型的网格变形的方法包括：通过应用第一多个神经网络训练的模型来生成第一多个变形图(map)；基于所述第一多个变形图提取第一多个顶点偏移；以及将所述第一多个顶点偏移应用于所述脸部模型的中性网格以生成所述脸部模型的所述网格变形。