[发明专利]一种基于深度学习的监控视频多目标分类检索方法及系统

说明书

本发明公开了一种基于深度学习的监控视频多目标分类检索方法及系统；提取待检索目标：输入待检索图像，通过自动检测或人工抠取的方式选择待检索目标，并明确其类别；提取深度特征：利用深度学习特征提取模型提取待检索目标的深度特征；目标检索：根据待检索目标的类别，将待检索目标的深度特征与检索数据库中同类目标的深度特征进行比对，得到与之最为相似的目标；检索结果展示：检索结果按照相似度从高到低展示。待检索目标与检索数据库中同类目标匹配采用深度学习特征提取模块获取的深度特征作为基准，由于深度特征兼具强表达力和低维度双重优势，大幅提升了检索结果的精确程度。

技术领域

本发明涉及一种视频目标检索技术，尤其涉及的是一种基于深度学习的监控视频多目标分类检索方法及系统。

背景技术

为了营造更为安全的生活环境，满足民众日益增强的安全防范需求，国家大力推广平安城市建设，其核心基础即为布设在城市各个角落中数量巨大的视频监控设备。除了城镇治安监控这一重要应用场景外，作为安防领域最为有效的方式，视频监控设备在机场、车站、银行、商店和小区等与日常生活息息相关的区域均得到了广泛应用。因此近年来，视频监控设备的数量急剧增加，数量庞大的视频监控设备每天都在产生海量的监控视频数据。在针对监控视频的检索应用中，最受关注的感兴趣目标是行人与车辆。当相关单位需要在监控视频中检索这些目标时，由于视频数据量巨大，采用人工查看的传统方法不仅需要耗费大量的人力资源，而且受限于人眼观察的局限性，存在效率低、准确度差的缺点，极易产生错看漏看现象。由于存在巨大的市场需求，目前监控视频中目标检索方法的研究已经取得了极大进步，解决了人工查看方法耗时费力的问题，但在检索准确性方面仍然效果不佳，特别是在多目标检索的应用场景中，漏检误检现象突出，而大部分目标检索应用对检索结果的精度要求极为严格，这也制约了监控视频目标检索方法的实践推广。目前如何对检索目标进行精确定位和精确分类，从而进一步提高目标检索的效率和精度仍是急需攻克的难题。

安防监控视频存在场景环境复杂，目标密集以及分辨率多样等问题，特别是多目标分类检索时，监控视频中目标的分类提取比一般的目标提取更易受到背景噪声和目标遮挡等因素的影响，而浅层特征也难以实现对外观差异较大的多类目标采用统一的特征进行精确表达，近年来，深度学习的发展正好可以解决上述问题。

发明内容

本发明所要解决的技术问题在于：如何更为准确的提高视频监控的多目标检索的效率和精度，提供了一种基于深度学习的监控视频多目标分类检索方法及系统。

本发明是通过以下技术方案解决上述技术问题的，本发明的一种基于深度学习的监控视频多目标分类检索方法，包括以下步骤：

(1)提取待检索目标：输入待检索图像，通过自动检测或人工抠取的方式选择待检索目标，并明确其类别；

(2)提取深度特征：利用深度学习特征提取模型提取待检索目标的深度特征；

(3)目标检索：根据待检索目标的类别，将待检索目标的深度特征与检索数据库中同类目标的深度特征进行比对，得到与之最为相似的目标；

(4)检索结果展示：检索结果按照相似度从高到低展示，选取某个检索结果，可静态展示其在关键帧中的具体位置，并可动态展示其在监控视频中的运行轨迹。

在提取目标之前，首先训练深度学习模型，然后构建检索视频库，所述训练深度学习模型为：搜集大量多样性的包括人、车目标的监控视频图片，标记出其中人和车的位置和类别，输入到深度卷积神经网络中训练得到深度学习模型，包括目标检测模型和特征提取模型。

所述构建检索视频库为：通过运动分析提取监控视频中所有运动目标的运行轨迹和包含运动目标的关键帧；利用深度学习模型提取关键帧中人或车类目标的精确位置、具体类别和深度特征，保存到检索数据库中；将人或车类目标与运动目标匹配得到对应的运行轨迹，保存到检索数据库中。