[发明专利]一种用于使用真实感合成数据估计头部姿势和视线的神经网络

权利要求书

1.一种用于估计头部姿势和视线角度的计算机实现方法，其特征在于，包括：

利用多个二维(two-dimensional，2D)面部图像训练第一神经网络，以分离2D面部的头部和眼部的运动，其中，所述训练所述第一网络包括：

将所述多个2D面部图像中的2D面部映射到面部位置图像，以及

基于所述面部位置图像构建所述2D面部的面部纹理图像；

将从所述2D面部的所述面部纹理图像中提取的包括视线角度的眼部纹理图像存储在数据库中；

用所述数据库中存储的包括所述视线角度的所述眼部纹理图像替换所述面部纹理图像的眼部区域，以生成修改后的面部纹理图像；

重构所述修改后的面部纹理图像以生成包括修改后的头部姿势和视线角度的修改后的2D面部图像作为训练数据，并将所述训练数据存储在所述数据库中；以及

通过使用所述训练数据训练第二神经网络来估计所述头部姿势和视线角度，其中，所述训练所述第二神经网络包括：

从所述数据库中采集所述训练数据，以及

同时对所述训练数据的所述修改后的2D面部图像和所述修改后的2D面部图像的相应眼部区域应用一个或多个变换。

2.根据权利要求1所述的计算机实现方法，其特征在于，

所述映射还包括：使用人脸对齐方法将所述多个2D面部图像中的所述2D面部映射到位置图，其中，所述面部位置图像将所述多个2D面部图像中的所述2D面部对齐到针对所述多个2D面部图像中的所述2D面部的重构的3D模型的3D坐标；以及

所述构建还包括：基于所述面部位置图像或面部3D可形变模型，针对所述多个2D面部图像中的所述2D面部构建所述面部纹理图像，以表示所述对齐后的2D面部的纹理。

3.根据权利要求1所述的计算机实现方法，其特征在于，所述存储还包括：

基于所述面部位置图像，从所述多个2D面部图像中的所述2D面部中提取所述面部纹理图像；

从所述面部纹理图像中裁剪所述眼部区域，以基于地标根据所述多个2D面部图像中的所述对齐的2D面部创建裁剪的眼部纹理图像；以及

将所述裁剪的眼部纹理图像存储到所述数据库中。

4.根据权利要求1至3中任一项所述的计算机实现方法，其特征在于，所述裁剪的眼部纹理图像被标记为所述多个2D面部图像中的所述2D面部的所述头部姿势和所述视线角度之间的差异。

5.根据权利要求1至3中任一项所述的计算机实现方法，其特征在于，所述替换还包括：

基于所述地标从所述数据库中选择所述裁剪的眼部纹理图像的所述眼部区域；以及

基于所述地标的对齐坐标，用所述数据库中的所述裁剪的眼部纹理图像替换所述面部纹理图像中的所述眼部区域，以生成所述多个2D面部图像中的所述2D面部的修改后的面部纹理图。

6.根据权利要求1至5中任一项所述的计算机实现方法，其特征在于，所述替换还包括：

应用图像融合，以将从所述数据库中选择的所述裁剪的眼部纹理图像合并到所述多个2D面部图像中的所述2D面部的所述修改后的面部纹理图；以及

训练生成对抗网络(generative adversarial network，GAN)或使用基于局部梯度信息的方法来平滑所述修改后的面部纹理图像的眼部区域中的色彩和纹理。

7.根据权利要求1至6中任一项所述的计算机实现方法，其特征在于，还包括：

将所述2D面部的所述修改后的面部纹理图像变形到面部3D可形变模型(3D morphablemodel，3DMM)上，以利用视线方向根据所述修改后的面部纹理图像重构3D面部模型；

将旋转矩阵应用于所述重构的3D面部模型以改变所述头部姿势，并改变所述视线角度以与所述头部姿势一致；

将应用所述旋转矩阵后的所述3D面部模型投影到2D图像空间以生成所述修改后的2D面部图像；以及

将所述修改后的2D面部图像存储在所述数据库中。