[发明专利]一种同时完成行人检测与行人重识别的方法

说明书

本发明提供一种同时完成行人检测与行人重识别的方法，在不同角度摄像头下的预设区域提取视频帧，人工标定行人位置框与相关的标签信息组成训练数据；采用VGG16卷积神经网络结构的前5个卷积层作为基础网络，再加入局部行人候选网络PPN生成候选行人框位置，根据PPN网络输出结果进行ROI‑pooling池化操作，采用三个全连接层进行特征融合；把最后一个全连接层的输出作为特征表示，建特征字典‑特征检索库，把检测模型所确定行人区域部分的深度学习特征与特征检索库中所有行人特征求相似度匹配；当二个特征相似度符合预设要求时，确定测试图片中的行人与图片库中相似度最大的人为同一个人。

技术领域

本发明属于模式识别技术领域，更具体地，涉及针对行人检测与行人重识别的深度学习方法。

背景技术

行人重识别是指在非重叠摄像机不同视角画面下自动匹配同一行人对象的技术，着眼与在无公共视域下的摄像头特定目标行人识别工作，由于视频清晰度局部遮挡等局限，很难通过人脸等具体信息直接寻找同一目标。重识别技术要求通过行人外貌轮廓纹理等信息，在合适的特征空间与度量准则下完成识别匹配。此任务首先要行人检测选取高概率行人框，后对多个候选框进行特征提取以及相似度匹配，最后锁定检索目标。

深度学习作为视频图像处理任务的新宠，在海量数据与高性能计算机的辅助下，物体识别，目标检测与追踪，图像分割等任务都大幅度超越传统的机器学习算法。可实际中高精度检测算法与高效追踪算法的组合往往不能发挥一加一大于二的功效，原因在于检测算法得到目标框与行人重识别训练集图片具有位置偏差，检测结果是在自然场景下算法求得，而行人重识别训练集图片多为人工裁剪获得，造成数据偏移不对称等问题。

发明内容

针对现有技术的以上缺陷，本发明提出了一种基于深度学习同时完成行人检测与行人重识别方法，其目的使检测与重识别任务更好的无缝衔接，克服中间过度阶段数据不对称等问题，提升行人重识别技术精度。此外设计出检测与重识别通用的特征，大大提高时间效率，保证算法运行实时性的要求。

本发明的技术方案如下：

一种同时完成行人检测与行人重识别的方法，其特征在于：在同一深度学习网络结构中进行行人候选框预测，行人检测框回归，多行人分类联合学习的策略，主体网络结构为VGG16网络+PPN区域生成网络+全连接识别层，主要包括大量的卷积层，池化层与全连接层；具体包括以下步骤：

(1)数据集构建：在不同角度摄像头下的预设区域提取视频帧，人工标定行人位置框与相关的标签信息组成训练数据，或通过渠道获得类似的数据构建数据集；

(2)识别训练：采用VGG16卷积神经网络结构的前5个卷积层作为基础网络，再加入局部行人候选网络PPN生成候选行人框位置，根据PPN网络输出结果进行ROI-pooling池化操作，采用三个全连接层进行特征融合，最后同时利用行人检测框偏移误差回归函数与多行人目标分类损失函数进行模型参数调整；

(3)特征计算：把最后一个全连接层的输出作为特征表示，利用此特征构建特征字典-特征检索库，测试阶段把检测模型所确定行人区域部分的深度学习特征与特征检索库中所有行人特征求相似度匹配；

(4)相似度确认：当二个特征相似度符合预设要求时，确定测试图片中的行人与图片库中相似度最大的人为同一个人。

本发明提出的一种基于深度学习同时完成行人检测与行人重识别方法，使用卷积神经网络通过多层非线性映射从大规模数据中自动学习特征。此外通过模型融合与目标函数联合学习，行人检测与行人重识别任务可共有特征且权值参数共享，提高了分类识别能力的同时提升效率，更好地完成行人重识别任务。本发明具体有以下优点：

1、本发明提出了一种端到端(end to end)的深度学习行人检索加行人重识别的框架。

2、训练过程更靠近自然实际场景，抗干扰能力强，更适合自然场景下的重识别任务。