[发明专利]一种结合人脸与步态特征的着装一致人员身份核验方法

权利要求书

1.一种结合人脸与步态特征的着装一致人员身份核验方法，其特征在于，结合人脸识别方法和步态识别方法，对作业现场中着装一致人员进行身份核验，分为数据集构建、数据预处理、模型离线训练与模型在线使用四个阶段，所述四个阶段的具体内容如下：

1)数据集构建阶段，把视频按照设定的帧速率进行压缩和截取，选取存在行人且不存在多人遮挡的关键帧构建数据集；

2)数据预处理阶段，对于人脸数据集，使用人脸检测算法提取图片中的人脸部分，保证提取后人脸部分区域像素大小大于100x100；对于步态数据集，利用目标检测算法Mask R-CNN检测出关键帧中的行人，并提取行人边界框图像，同时分割获得人体轮廓图；结合半监督方法MixMatch与人工方法对上述人体轮廓图进行标注，从而构建人员身份库；

3)模型离线训练阶段，利用InceptionResnetV1模型对人脸图片进行人脸特征提取，将提取后的人脸特征输入全连接层将其映射到隐层特征空间，人脸特征向量的最终维度为256；对于提取的人体轮廓图，首先基于经典步态识别网络GaitSet提取初步的步态特征，并利用三元损失函数约束样本空间距离，而后通过步态特征重映射网络，其由批归一化层、Dropout层以及全连接层构成多层卷积网络，将由GaitSet网络输出的62x256特征重映射为256维特征，对于提取的人脸与步态特征，采取维度拼接构成最终512维度联合特征表征向量；

4)模型在线使用阶段，首先判断图像中人脸部分图像像素大小是否不低于100x100，若是，则采用人脸识别，用人脸特征提取器提取待识别人脸的特征后与已注册的人脸特征进行对比，从而完成身份核验；否则，采用步态识别方法，本阶段使用的模型采取与阶段3)中相同的多层卷积网络结构，与此不同的是此时身份真值未知，将待测试人员的特征与已有特征进行对比，衡量特征空间的距离，与阶段1)中的人员身份库中的特征距离最小的即为识别结果，进而完成身份核验。

2.根据权利要求1所述的结合人脸与步态特征的着装一致人员身份核验方法，其特征在于，在模型离线训练阶段使用三元损失函数与交叉熵损失函数进行联合约束，优化特征空间聚类。

3.根据权利要求2所述的结合人脸与步态特征的着装一致人员身份核验方法，其特征在于，所述的三元损失函数计算公式为：

L_triplet＝max(||f(A)-f(p)||²-||f(A)-f(N)||²+α,0)

其中，A是锚点样本特征，P是与A相同类别的正样本特征，N是与A不同类别的负样本特征，α是调整正负样本对间距离的阈值系数，f为特征映射函数。

4.根据权利要求3所述的结合人脸与步态特征的着装一致人员身份核验方法，其特征在于，所述的交叉熵损失函数计算公式为：

其中，y_i代表图片i的标签，为通过网络预测出的身份属性，M为一个训练批次的样本数量；

得到的联合损失函数公式为：

L_total＝L_ce+L_triplet。

5.根据权利要求1所述的结合人脸与步态特征的着装一致人员身份核验方法，其特征在于，所述的多层卷积网络优化改进步态识别网络GaitSet，对其输出的特征进行强化并将其维度从62x256压缩至256。

6.根据权利要求1所述的结合人脸与步态特征的着装一致人员身份核验方法，其特征在于，使用在VggFace数据集上预训练的InceptionResnetV1模型作为人脸特征提取器，并将其输出特征通过全连接映射为256的维度。

7.根据权利要求1所述的结合人脸与步态特征的着装一致人员身份核验方法，其特征在于，在模型离线训练阶段时，同时提取人脸与步态特征，通过优化后的人脸特征提取器与步态识别网络进行特征映射，最终融合多种特征进行训练。