[发明专利]一种基于正投影特征变换的俯视人脸矫正方法

权利要求书

1.一种基于正投影特征变换的俯视人脸矫正方法，其特征在于，包括以下步骤：

步骤1：利用正投影特征变换网络对俯视人脸进行矫正，得到矫正后的正脸图像；

步骤1的具体实现包括以下子步骤：

步骤1.1：将俯视角度的人脸图像输入到ResNet-18网络中，对图像进行特征提取，得到不同尺度的特征图；

步骤1.2：将不同尺度的特征图，映射到3D空间中得到正交特征映射，再通过折叠体素特征产生正交平面特征；

正投影特征变换通过在投影的体素区域上累积图像特征f(u,v)来生成体素特征g(x,y,z)，然后沿垂直方向折叠体素特征来产生正交平面特征h(x,z)；其中，u、v是二维图像特征的坐标，x、y、z是三维体素特征的坐标；

对于给定的体素网格位置(x，y，z)，每个体素被投影到图像平面的六边形区域，通过一个带有左上角(u₁，v₁)和右下角(u₂，v₂)的矩形边界框来估计，由下式给出：

其中，每个体素是尺寸为r的立方体，f是摄像机焦距，(c_u，c_v)是原点；

然后，通过对投影体素边界框的平均汇集，将特征分配给体素特征映射g中的适当位置：

进而将3D体素特征图折叠回二维平面特征图h(x,z)；先学习一组权重矩阵W(y)，然后沿垂直轴对体素特征加权求和获得平面特征图：

其中，y₀为相机到地面距离，H为图像的高度；

步骤1.3：通过由一系列ResNet单元组成的自顶向下网络，对正投影特征变换后的平面特征图进行处理，将网络最后一层的输出设置为3通道输出，生成RGB图像，得到矫正后的正脸图片；

步骤2：将矫正后的正脸图像与真实正脸进行对抗训练，优化正投影特征变换网络，最终产生更精确的正面人脸图像；

步骤2的具体实现包括以下子步骤：

步骤2.1：引入鉴别器D来区分真实正面图像与步骤1中的“矫正后的正脸图像”；

步骤2.2：利用步骤1中的“矫正后的正脸图像”和真实正面图像进行训练，设置合理阈值，若步骤1中的“矫正后的正脸图像”与真实图像的差大于阈值，则反向传播调节正投影特征变换网络参数；其中，参数包括ResNet单元的权重和偏置，调节方法采用深度学习的随机梯度下降方法；

步骤2.3：重复步骤2.2，迭代优化正投影特征变换网络的参数，直到训练过程收敛，最终产生更精确的正面人脸图像。