[发明专利]生成三维人脸模型的基于虚拟现实的装置和方法

权利要求书

1.一种基于虚拟现实的装置，包括：

存储器设备，被配置为存储3D脸部模型，该3D脸部模型是现有3D脸部模型；以及

通信地耦合到感测设备的电路，其中，电路被配置为：

基于第一用户的脸部的多个彩色图像和所述多个彩色图像的每个图像中的第一用户的脸部的深度信息来生成第一用户的脸部的点云，其中，第一用户的多个彩色图像和对应的深度信息是由感测设备从具有中性表情的脸部的不同观看角度捕获的；

基于2D脸部标志检测来检测第一用户脸部的多个彩色图像的多个特征点，多个特征点从2D到3D的投影生成用于3D人脸模型的点云，在生成的点云上检测多个特征点；

基于在生成的点云上检测到的多个特征点以及平均形状脸部模型上的多个标志点来估计仿射变换；

通过对生成的点云应用估计的仿射变换来生成严格对齐的点云；

使用生成的严格对齐的点云对所存储的3D脸部模型进行基于形状的模型拟合来生成具有中性表情的第一用户的脸部的第一3D脸部模型；

基于第一用户的脸部的生成的第一3D脸部模型的多个顶点和第一用户的脸部的生成的严格对齐的点云的差异来评估脸部模型残差，其中，脸部模型残差包括用于第一用户的脸部的生成的第一3D脸部模型的对应的多个顶点的多个子残差；

细化生成的第一3D脸部模型的形状，其中生成的第一3D脸部模型的形状的细化是根据基于形状的模型拟合以及评估的脸部模型残差；以及

控制第一用户的脸部的细化的生成的第一3D脸部模型的形状在基于虚拟现实的装置上的显示，以使得细化的生成的第一3D

脸部模型的形状上的多个外观属性表现出与在多个彩色图像中的第一用户的脸部的实际形状和第一用户的脸部的外观的最小偏差。

2.根据权利要求1所述的基于虚拟现实的装置，其中，存储器设备被进一步配置为还存储作为存储的3D脸部模型的一部分的具有中性表情的平均形状脸部模型和该平均形状脸部模型的多个形状分量、以及与平均形状脸部模型相关的多个任意脸部表情。

3.根据权利要求1所述的基于虚拟现实的装置，其中，电路被进一步配置为：

基于生成的严格对齐的点云上的多个点的连接来将多个边缘添加到生成的严格对齐的点云，其中生成的严格对齐的点云上的多个点的连接是基于生成的严格对齐的点云上的多个点中的每个点在2D空间中的邻接；以及

基于对于生成的严格对齐的点云的多个边缘的添加来导出第一用户的脸部的输入网格。

4.根据权利要求3所述的基于虚拟现实的装置，其中，电路被进一步配置为：

基于第一用户的脸部的导出的输入网格来使平均形状脸部模型变形。

5.根据权利要求1所述的基于虚拟现实的装置，其中，电路被进一步配置为：

基于平均形状脸部模型的每个形状分量的顶点与严格对齐的点云的对应顶点的最小差异来估计用于存储在存储器设备中的多个形状分量中的每个形状分量的权重；以及

在基于形状的模型拟合中组合来自存储的3D脸部模型的多个加权的形状分量中的每个加权的形状分量以生成第一用户的脸部的第一3D脸部模型。

6.根据权利要求1所述的基于虚拟现实的装置，其中，电路被进一步配置为：

对评估的脸部模型残差应用变形以导出用于第一用户的脸部的生成的第一3D脸部模型的变形的脸部模型残差；以及

将变形的脸部模型残差与第一用户的脸部的生成的第一3D脸部模型组合以获得第一用户的脸部的细化的第一3D脸部模型的形状。

7.根据权利要求6所述的基于虚拟现实的装置，其中，对评估的脸部模型残差应用的变形是拉普拉斯变形。

8.根据权利要求1所述的基于虚拟现实的装置，其中，电路被进一步配置为评估存储在存储器设备中的具有中性表情的平均形状脸部模型和存储在存储器设备中的具有多个任意脸部表情中的每个任意脸部表情的平均形状脸部模型之间的变换的集合。