[发明专利]基于渐进式神经网络和注意力机制的跨姿态人脸识别方法和系统

权利要求书

1.一种基于渐进式神经网络和注意力机制的跨姿态人脸识别方法，其特征在于，包括下述步骤：

对收集的人脸图像数据进行预处理，包括人脸检测、关键点检测、人脸对齐；

对经过预处理的人脸图像检测姿态角度；

根据人脸的姿态角度，为训练集中每张人脸图像选择一张正脸图像或最小姿态角度图像作为基准图像以组成用于训练的图像对；

构建基准网络，所述基准网络用于深度人脸特征的提取；

对构建的基准网络采用随机的方式进行初始化；

将训练集中的人脸图像随机分配到固定尺寸的batch中，馈入基准网络及分类器以获取预测的各类别的分数；

构建交叉熵损失函数，采用交叉熵损失函数对基准网络的预测结果和人脸图像类别的标签进行损失计算和梯度计算，并通过反向传播更新基准网络；

构建组成渐进式特征摆正网络的残差块的具体结构，并通过堆叠方式组成渐进式特征摆正网络；

所述构建组成渐进式特征摆正网络的残差块的具体结构，并通过堆叠方式组成渐进式特征摆正网络，具体采用Conv-BN-ReLU-Conv-BN变换与原先特征相加的基本残差结构，并且使用软门限系数逐元素与变换后的特征相加以控制变换的量，具体表示为：

f_i(x)＝f_i-1(x)+γ(θ_i,θ)·R_i(f_i-1(x))

其中，x表示处理的每一张侧脸图像，f_i(x)表示经过第i个残差块网络后提取的人脸特征，R_i表示第i个残差块网络对当前输入特征的变换，γ(θ_i,θ)表示每个残差块网络的软门限系数；

构建残差块使用的软门限的计算方法；

所述构建残差块使用的软门限的计算方法，具体步骤包括：

给定每张图片的角度θ和每个残差块的对应转换角度θ_i，根据sigmoid函数计算软门限系数，对应每个残差块软门限系数计算方法如下：

其中i表示第i个残差块；

串联残差块构建渐进式特征摆正网络；

对构建的渐进式特征摆正网络采用随机的方式进行初始化；

将训练集中的人脸图像和基准图像以图像对的形式随机分配到固定尺寸的batch中，馈入基准网络中，得到训练图像和基准图像的特征；

将训练图像的特征馈入渐进式特征摆正网络，形成摆正后的人脸特征；

根据基准图像的特征构建注意力特征向量；

根据摆正后的训练图像特征、基准图像的特征和注意力特征向量构建基于注意力的加权均方误差损失函数，结合交叉熵损失函数进行损失计算和梯度计算，并通过反向传播同时更新基准网络和渐进式特征摆正网络；

使用训练好的基准网络和渐进式特征摆正网络对待测任意人脸图像进行特征提取，并计算待测图像与比对图像特征之间的余弦相似度作为衡量。

2.根据权利要求1所述的基于渐进式神经网络和注意力机制的跨姿态人脸识别方法，其特征在于，所述对收集的人脸图像数据进行预处理，具体步骤包括：

使用MTCNN进行人脸boundingbox检测和人脸5个关键点检测，根据人脸图像与boundingbox采用TCDCN检测人脸的68关键点，然后根据检出的5个人脸关键点与标准对齐模板进行仿射变换以对齐人脸。

3.根据权利要求1所述的基于渐进式神经网络和注意力机制的跨姿态人脸识别方法，其特征在于，所述构建基准网络，采用ResNet-34网络作为基础网络，并采用C类的线性分类器代替原先的分类器，构建基于C个类别分类的深度神经网络；

所述对构建的基准网络采用随机的方式进行初始化，具体对基准网络的卷积层、BN层、线性层的权重和偏置采用MSRA权重初始化方法进行随机初始化，对其它部分则采用零值初始化的方法进行初始化。