[发明专利]一种结合人脸与步态特征的着装一致人员身份核验方法

说明书

本发明公开了一种结合人脸与步态特征的着装一致人员身份核验方法。本发明对场景中待识别对象同时提取人脸与步态特征，当识别场景中人脸清晰可见时，优先调用人脸识别方法，实现快速身份核验；否则，调用步态识别方法，利用多层卷积神经网络提取时序步态轮廓图的步态特征，将待测试人员与已注册人员身份库的步态特征信息进行匹配，获取欧式距离最小的对象，从而完成身份核验。本发明利用多种生物特征对作业人员进行身份识别，具有灵活性与鲁棒性；该方法广泛适用于配备视频监控的作业现场，可对着装一致人员完成高效、精准的身份核验。

技术领域

本申请涉及视频流图像识别技术领域，尤其是一种结合人脸与步态特征的着装一致人员身份核验方法。

背景技术

用于工厂、车间等作业现场中着装一致人员的身份核验任务主要面临如下几个挑战：

1)作业人员因工作需求统一着装，无法应用现有的主要基于衣着服饰等纹理信息的全身行人重识别算法；

2)视频序列长，检索目标需要高效去除大部分无效信息以缩小检索范围，数据预处理效率低；

3)同一个视频序列中存在多人员，需要人脸和体态的联合检测，且存在行人重叠。

目前存在成熟的人脸识别的身份核验方法，但是存在以下问题：

1)作业人员在作业场景中会以任意角度和方向朝向摄像头；

2)远距离场景下人脸因模糊而无法识别；

3)现场实时视频需要大量人工查看；

4)单独使用基于图片的检测方法并没有充分利用到监控视频的时序信息，核验准确度有限。

上述基于人脸识别的身份核验方法仅使用单一特征，有待进一步提高精度。步态特征在视频监控应用中是一种有效且不易伪造的人体识别特征，然而现有的步态识别方法因标注复杂、受附属物变化等影响而缺乏单帧图像鉴别性，识别性能亦可改善。

发明内容

为解决上述问题，本发明提供一种人脸识别与步态识别相结合的人员身份核验方法。

本发明采用如下的技术方案：一种结合人脸与步态特征的着装一致人员身份核验方法，其结合人脸识别方法和步态识别方法，对作业现场中着装一致人员进行身份核验，分为数据集构建、数据预处理、模型离线训练与模型在线使用四个阶段，所述的四个阶段具体内容如下：

1)数据集构建阶段，把视频按照设定的帧速率进行压缩、截取，选取存在行人且不存在多人遮挡的关键帧构建数据集；

2)数据预处理阶段，对于人脸数据集，使用人脸检测算法提取图片中的人脸部分，保证提取后人脸部分区域像素大小大于100x100；对于步态数据集，利用目标检测算法MaskR-CNN检测出关键帧中的行人，并提取行人边界框图像，同时分割获得人体轮廓图；结合半监督方法MixMatch与人工方法对上述人体轮廓图进行标注，从而构建人员身份库；

3)模型离线训练阶段，利用InceptionResnetV1模型对人脸图片进行人脸特征提取，将提取后的人脸特征输入全连接层将其映射到隐层特征空间，人脸特征向量的最终维度为256；对于提取的人体轮廓图，首先基于经典步态识别网络GaitSet提取初步的步态特征，并利用三元损失函数约束样本空间距离，而后通过步态特征重映射网络，其由批归一化层、Dropout层以及全连接层构成多层卷积网络，将由GaitSet网络输出的62x256特征重映射为256维特征，对于提取的人脸与步态特征，采取维度拼接构成最终512维度联合特征表征向量；