[发明专利]快速和深度脸部变形

权利要求书

1.一种用于生成脸部模型的网格变形的方法，所述方法包括：

通过应用第一多个神经网络训练的模型来生成第一多个变形图；

基于所述第一多个变形图提取第一多个顶点偏移；以及

将所述第一多个顶点偏移应用于所述脸部模型的中性网格以生成所述脸部模型的所述网格变形。

2.根据权利要求1所述的方法，其中提取所述第一多个顶点偏移包括在多个顶点位置处执行所述第一多个变形图中的至少一个的内插。

3.根据权利要求2所述的方法，其中所述内插包括双线性内插或三次内插。

4.根据权利要求1所述的方法，其中将所述第一多个顶点偏移应用于所述脸部模型的所述中性网格包括将所述第一多个顶点偏移加到所述中性网格的多个顶点的值。

5.根据权利要求1所述的方法，其中所述第一多个经神经网络训练的模型中的每个包括卷积神经网络(CNN)模型。

6.根据权利要求1所述的方法，进一步包括：

通过应用第二多个神经网络训练的模型来生成第二多个变形图，所述第二多个变形图具有大于所述第一多个变形图的分辨率；

基于所述第二多个变形图提取第二多个顶点偏移；以及

将所述第二多个顶点偏移应用于所述脸部模型的所述中性网格以生成所述脸部模型的所述网格变形。

7.根据权利要求6所述的方法，其中：

将所述第一多个顶点偏移应用于所述中性网格包括将所述第一多个顶点偏移应用于所述中性网格的所有顶点的值；以及

将所述第二多个顶点偏移应用于所述中性网格包括将所述第二多个顶点偏移应用于所述中性网格的所述顶点的至多子集的值以生成所述网格变形。

8.根据权利要求7所述的方法，其中所述中性网格的所述顶点的所述子集对应于所述中性网格的展现高于特定阈值的近似误差水平的一个或多个区域。

9.根据权利要求6所述的方法，其中：

将所述第一多个顶点偏移应用于所述脸部模型的所述中性网格包括将所述第一多个顶点偏移加到所述中性网格的多个顶点的值以生成多个中间顶点值；以及

将所述第二多个顶点偏移应用于所述中性网格包括将所述第二多个顶点偏移加到所述多个中间顶点值的至多子集以生成所述网格变形。

10.根据权利要求6所述的方法，进一步包括：

基于所述第一多个变形图和所述第二多个变形图，识别所述脸部模型的在变形期间刚性地移动的一个或多个刚性网格片段；以及

执行所述一个或多个刚性网格片段中的每个的单独近似。

11.根据权利要求10所述的方法，其中执行所述一个或多个刚性网格片段中的每个的所述单独近似包括针对所述刚性网格片段的顶点执行刚性旋转和平移。

12.一种用于生成脸部模型的网格变形的系统，所述系统包括一个或多个控制器，所述一个或多个控制器配置成：

通过应用第一多个神经网络训练的模型来生成第一多个变形图；

基于所述第一多个变形图提取第一多个顶点偏移；以及

将所述第一多个顶点偏移应用于所述脸部模型的中性网格以生成所述脸部模型的所述网格变形。

13.根据权利要求12所述的系统，其中所述一个或多个控制器进一步配置成通过在多个顶点位置处执行所述第一多个变形图中的至少一个的内插来提取所述第一多个顶点偏移。

14.根据权利要求13所述的系统，其中所述内插包括双线性内插或三次内插。