[发明专利]跨相机行人重识别与跟踪方法

说明书

本发明公开了一种跨相机行人重识别与跟踪方法，包括如下步骤：1)图像预处理：从视频序列中选择出行人图像以供行人重识别使用，通过输入多张低分辨率行人图像，输出一张清晰的行人图像供行人重识别使用；2)跨相机协同识别：进行行人图像的特征提取，进行相机间行人图像特征匹配；3)盲区轨迹还原与跟踪：a、采用目标检测方法首先对行人进行检测，然后利用视域内的摄像头采集到的行人的图像输入到GAN网络进行还原，从而实现对目标轨迹进行持续跟踪；b、通过地理信息系统将相机捕捉到的图像与真实坐标进行标定，得到目标起点和重点的位置，再通过算法进行集成，得到目标可能的轨迹。本发明实现跨相机重识别和轨迹恢复和跟踪，提升效率，从而提高准确度。

技术领域

本发明属于人体识别技术领域，具体涉及一种跨相机行人重识别与跟踪方法。

背景技术

20世纪末以来，随着监控摄像机网络大范围应用，开放环境下跨相机目标识别作为一项重要技术越来越受到学术界的重视，准确的识别技术可为城市监控和安防系统提供有力的帮助。随着公共安全越来越受到重视，行人重识别、跨相机目标跟踪等也成为了热门研究领域。

据报道，2018年中国有超过1000万的城市监控与报警系统，每人一天被摄像头拍到的次数超过300次。海量的数据潜在巨大的信息，利用这些信息可以在发生危害公众安全的事件时实现实时报警和事后查询，事发前预警。当使用人力对监控画面进行监测时，不仅需要很大的人力物力投入，而且据美国圣地亚国家实验室的一项研究表明，人在盯着视频画面22min之后便会忽视视频画面里95％以上的活动。基于深度学习的智能化系统可有效的避免人工疲劳和噪声干扰等因素，跟踪技术作为盲区走向判断工具为监管者提供有力技术支持，从而快速准确找到需要追踪的人物，省去大部分人力财力。但由于开放环境的天气因素变化和行人个人因素变化，常常带来一些识别上的困难，对数据的有效处理是非常重要的，而且近来识别算法不断涌现，需要探索出针对人体特征提取良好的网络，从而保证识别的精度，更好地辅助安防事业。

由于开放环境下行人识别与跟踪问题的研究具有重要的应用价值，国内外的学者对该问题进行了大量研究。现有技术对于行人检测、识别和跟踪的技术主要包括以下部分：

(1)行人检测

在行人检测部分的重点是对于复杂环境因素的处理，通过减少环境因素对行人图像的影响，进而提高检测效率。在复杂环境的处理问题上，通过对原始图像进行增强，减少光照变化所带来的影响，从而提高识别效率。使用空间变换网络层解决行人图像背景的问题。有人提出了改进型嵌套池化三元组卷积神经网络，能克服视角变化、部分遮挡、旋转和尺度变化等对行人重识别性能的影响。基于GAN网络提出了一个完成多场景下的冬夏季节服装变化的解决方案。这些研究分别对光照、角度、背景变化等进行了考虑，但未考虑雨雪、大风天气等带来的影响。

(2)行人识别

在检测出行人图像之后，如何提取以及匹配特征是行人识别的主要研究内容。行人特征的描述方式有三种。一是颜色、梯度和纹理等基本的图像特征，主要有方向梯度直方图、局部二值模式和空间成对统计信息。二是基于学习的特征指的是通过机器学习的方法，从大量的行人样本中学习到的行人特征表示，主要有小边特征、边缘模板和自适应轮廓特征。三是混合特征，指的是多种底层特征的融合,或者是底层特征的高阶统计特征，主要有协方差特征、积分通道特征和粒度可调梯度分区。对于行人特征的提取和匹配，有人提出一种自动选择特征匹配方式的机器学习算法。针对特征提取的问题，将人体分为头部、躯干和身体三部分，分别在不同色域下提取特征并进行集成。以上研究中充分考虑了行人的各种视觉特征和匹配方法，但行人具有主观能动性，当温度等外界环境发生改变时会有增减衣物等动作，则会严重识别效果。

(3)行人跟踪