[发明专利]一种智能人脸识别方法

权利要求书

1.一种智能人脸识别方法，其特征在于，包括以下步骤：

1）人脸检测：从原始图片中截取出以人面部为主要内容的源姿态人脸图片；

2）人脸对齐：识别并定位源姿态人脸图片中的人脸关键点；

3）人脸姿态旋转：根据源姿态人脸图片和选定姿态，保留其身份信息和表情信息，转换生成具有视觉真实感的目标姿态人脸图片；

4）人脸表情与身份识别：结合源姿态人脸图片与目标姿态人脸图片，判断图片中人脸的表情与身份；

使用融合注意力机制的生成对抗网络AFGAN识别人脸表情，识别过程中采用基于人脸关键点的注意力机制；

AFGAN的网络结构基础为CGAN，包含1个生成器G与2个判别器D_ii、D_ih及身份特征提取器D_ip；生成器G输入源姿态人脸图片与目标姿态关键点热图，以关键点热图作为姿态条件信息，输出合成的目标姿态图片；判别器D_ii输入源姿态人脸图片与真实或合成的目标姿态人脸图片，判别器D_ih输入真实或合成的目标姿态人脸图片与目标姿态关键点热图，均输出真实性标签与表情标签；判别器D_ii与身份特征提取器D_ip的结构一致，身份特征提取器D_ip为LightCNN模型，将提取出来的身份特征向量，用于维持旋转前后的身份信息一致性以及身份识别任务；

AFGAN中用于训练判别器D_ii与D_ih的损失函数包括条件对抗损失与表情识别损失；其中，条件对抗损失保证判别器区分真实与合成人脸图片的能力，表情识别损失保证判别器识别人脸表情的能力；

使用AFGAN中的2个判别器D_ii与D_ih来检验合成图片的真实性与识别人脸表情；基于人脸关键点的注意力机制，将待识别人脸图片与对应的注意力热图数乘，生成注意力子图，形式化定义为：

x=I_t+H_t, x₁ = (I_s*H_s1)+H_t1, x₂ = (I_s*H_s2)+H_t2

其中，I_t为待识别人脸图片，即真实或合成的目标姿态图片，H_s1、H_s2分别为源姿态的眼部与口部注意力热图，H_t1、H_t2分别为目标姿态的眼部与口部关键点热图，*表示元素级数乘操作，+表示矩阵的连接操作，x、x₁、x₂分别为主通道、眼部注意力子通道、口部注意力子通道的输入；

判别器D_ih分别处理主通道与两个注意力子通道的输入，将三个通道的特征输出进行连接融合，形式化定义为：

D₂(x,x₁,x₂) = Linear(D₁(x)+D₁(x₁)+D₁(x₂))

其中，D₂ (x,x₁,x₂)为判别器D_ih公共特征提取阶段的最终输出，D₁ (x)、D₁ (x₁)、D₁ (x₂)分别为主通道、眼部注意力子通道、口部注意力子通道的公共特征输出， Linear()表示线性组合；

融合后的公共特征分别进入判别器D_ih的两个输出分支，获得待识别人脸图片的真实度特征矩阵与表情预测特征向量，形式化定义为：

Exp=D₃(D₂(x,x₁,x₂)), Gan=D₄(D₂(x,x₁,x₂))

其中，D₃()为表情输出分支，Exp为表情预测特征向量，D₄()为图片真实度输出分支，Gan为图片真实度特征矩阵；

判别器D_ii的处理方式相比D_ih，仅将H_t替换为源姿态人脸图片I_s，其余保持一致。