[发明专利]一种人脸图像旋转方法、装置及存储介质

说明书

一种人脸图像旋转方法、装置及存储介质，所述方法包括步骤：获取三维人脸数据；根据所述三维人脸数据构建三维人脸模型数据库；使用所述三维人脸数据训练深度卷积神经网络；根据所述深度卷积神经网络生成旋转二维人脸灰度图像；根据所述二维人脸灰度图像使用风格迁移渲染生成旋转二维人脸色彩纹理图像。本申请提供的一种人脸图像旋转方法、装置及存储介质，依赖于专注于三维人脸模型形状参数回归的神经网络模型，能够提高旋转人脸形状结构的精度，同时保留了人脸深层特征；利用风格迁移对抗神经网络提取人脸解耦特征，很好地渲染旋转后人脸的高频细节；在保证旋转人脸轮廓定位特征准确的同时，可以精确渲染人脸纹理色彩以及高频细节，并且保留人脸深层特征。

技术领域

本发明属于人脸识别技术领域，具体涉及一种人脸图像旋转方法、装置 及存储介质。

背景技术

人脸识别领域仅能较好地处理roll轴的人脸旋转，对于yaw轴和pitch 轴的人脸图像，非正面人脸的人脸对齐技术尚不能很好地解决。对于yaw轴 和pitch轴的旋转人脸直接使用相似变换，最终得到的对齐人脸会产生较大 的形变，丢失了原图人脸的部分特征。现有的技术也较难进行遮挡信息的恢 复，对旋转得到的人脸形状结构和纹理结构的细节刻画精度不高。

使用普通的变换方式会较大程度的改变图像中人脸的形状，并且由于没 有任何约束和参照，传统方式所变换出的人脸旋转图像，其变换出的人脸图 像可信度并不高。

人脸旋转后能够保持其良好的形状结构和纹理结构是旋转图像能够被使 用的保证。使用普通的变换方式会较大程度的改变图像中人脸的形状，并且 由于没有任何约束和参照，传统方式所变换出的人脸旋转图像，其变换出的 人脸图像可信度并不高。利用三维人脸重建出的二维人脸图像在形状结构上 具有一定的约束；对抗生成网络在高频细节的渲染上具有出乎意料的效果。 利用二维人脸图像直接重建三维人脸，在将其旋转后投影到二维平面获得旋 转的人脸图像，在其形状结构和纹理结构上都有一定的保证。但是目前的三 维人脸重建算法所重构出的三维人脸的纹理精度无法满足高分辨率的细节刻 画，使用3DMM模型配合神经网络重建出的三维人脸的纹理向量的参数维度普 遍小于100维，即纹理精度不高，据此旋转得到的旋转人脸的形状结构和纹 理结构也无法满足精度要求。

目前的人脸旋转算法多利用同一人脸的多角度图片进行人脸旋转，从而 导致了各种问题；另一方面，实际应用中多角度的人脸图像不容易获取，人 脸图像旋转的需求大多存在于单张正脸的获取其不同角度侧脸或者根据侧脸 恢复其正脸图像场景中。

虽然利用对抗生成网络Gan进行人脸图像的旋转可以刻画出高频细节， 但是对抗生成网络Gan对多视角配对训练数据的依赖以及其对特定数据过拟 合的问题导致其旋转人脸的能力受限。

发明内容

鉴于上述问题，本发明提供克服上述问题或者至少部分地解决上述问题 的一种人脸图像旋转方法、装置及存储介质。

为解决上述技术问题，本发明提供了一种人脸图像旋转方法，所述方法 包括步骤：

获取三维人脸数据；

根据所述三维人脸数据构建三维人脸模型数据库；

使用所述三维人脸数据训练深度卷积神经网络；

根据所述深度卷积神经网络生成旋转二维人脸灰度图像；

根据所述二维人脸灰度图像使用风格迁移渲染生成旋转二维人脸色彩纹 理图像。

优选地，所述根据所述三维人脸数据构建三维人脸模型数据库包括步 骤：

在所述三维人脸数据上标注人脸关键点并得到三维人脸点云数据集；

对所述三维人脸点云数据集进行球切割；

使用人脸模型处理所述三维人脸点云数据集并得到三维人脸模型数据 库。