[发明专利]基于地图数据的时空联合模型的行人重识别方法及系统

说明书

本发明提供一种基于地图数据的时空联合模型的行人重识别方法及系统，包括监控视频数据的采集，包括采集城市区域的监控视频数据，提取包括行人的图像帧；基于行人图像进行预处理，将每张图像和其他图像配对，构建用于训练孪生网络的图像对；构建孪生网络学习输入图像对的视觉特征；使用交叉熵损失函数对网络计算损失；使用Adam优化方法对网络进行优化，更新孪生网络中的权重和偏置项；构建基于地图数据的时间概率模型；利用视觉概率和步时空概率，计算最终的联合时空概率，得到行人重识别结果。本发明借助现有的地图数据，挖掘数据中的时空信息，结合孪生网络获取的视觉特征信息，得到更精确的识别结果。

技术领域

本发明属于行人重识别技术领域，涉及一种基于地图数据的时空联合模型的行人重识别技术方案。

背景技术

随着智慧城市的提出，城市建设开始向信息高度集中化转变。借助物联网、大数据和云计算等技术实现城市数据感知、分析与整合，来建设公共安全系数更高的智能化管理体系也是未来的发展趋势。

监控摄像头遍布公共场所，如机场、学校、火车站等，因此借助监控摄像头实现对重点行人进行检测，来判断该行人的运动轨迹和范围，是安防任务中的重要一环。然而，实际场景中，公共场所人流量大，仅依靠人工审查，很容易错过视频中的事件，同时效率低下，因此实现跨镜头的行人重识别，进而分析未授权人的行人或重点行人的运动轨迹，并进行实时跟踪是打击违法犯罪，构建平安城市的重要一环。

一直以来，从最开始的基于手工特征的行人重识别(从简单的颜色纹理特征到HOG特征、SIFT特征等)，到如今的基于深度学习的行人重识别方法，都通过挖掘数据中的先验信息，来获得更好的性能。基于深度学习的行人重识别方法可以分为，基于表征学习、基于度量学习、基于局部特征、基于视频序列和基于对抗生成网络(Generative adversarialnets,GAN)的方法。

而挖掘数据先验信息的方法也从最开始的只包括行人身份信息，开始逐渐扩展到包括行人运动信息、背景信息、属性信息(行人的性别、头发、衣着等属性)、和人体姿态关键点等信息。基于GAN的行人重识别方法分支，通过对抗生成网络实现不同数据集之间的相机风格迁移来生成额外的行人图像数据集，增加先验信息，不仅能够有效模型过拟合，同时也有效提升了网络的性能。

基于时空信息的跨域行人重识别方法，通过构建多模态网络，结合视觉概率和空间概率，有效地提升了行人重识别的准确率，但是这种方法只适用于运动规律的标准数据集。实际场景中的运动较标准数据集更加复杂，而且空间环境也更加复杂。因此，本发明提供了一种基于地图数据与孪生网络的贝叶斯时空联合模型的行人重识别方法，通过引入新的多模态数据——地图数据，通过摄像机网络进行地理时空建模，从而对视觉相似概率进行优化。

发明内容

针对现有行人重识别技术存在的不足，本发明的目的是提供一种基于地图数据的时空联合模型的行人重识别方法。

本发明提供一种基于地图数据的时空联合模型的行人重识别方法，包括以下步骤：

步骤a，监控视频数据的采集，包括采集城市区域的监控视频数据，提取包括行人的图像帧；

步骤b，基于步骤a得到的行人图像进行预处理，将每张图像和其他图像配对，构建用于训练孪生网络的图像对；

步骤c，构建孪生网络学习输入图像对的视觉特征；

步骤d，使用交叉熵损失函数对网络计算损失；

步骤e，使用Adam优化方法对网络进行优化，更新孪生网络中的权重和偏置项；

步骤f，构建基于地图数据的时间概率模型；

步骤g，利用步骤c得到的视觉概率，和步骤f得到的时空概率，计算最终的联合时空概率，得到行人重识别结果。