[发明专利]一种基于时空关系的行人提取物品行为检测方法及系统

说明书

本发明提供一种基于时空关系的行人提取物品行为检测方法及系统，方法包括：基于训练好的行人关键点检测模型、人脸关键点检测模型以及物品检测模型，对获取的监控视频帧图像进行实时检测，分别得到行人检测结果、人脸检测结果以及物品检测结果；基于所述物品在所述监控视频帧图像中的时空关系，将所述行人检测结果和所述人脸检测结果进行匹配，得到关联的行人与人脸匹配结果，并将所述行人检测结果和所述物品检测结果进行匹配，得到关联的行人与物品匹配结果；检测出提取物品的行为，并根据所述行人与物品匹配结果，关联出提取物品的行为对应的行人。本发明能够结合时空关系，实现对行人提取物品实时准确检测。

技术领域

本发明涉及目标检测领域，具体涉及一种基于时空关系的行人提取物品行为检测方法及系统。

背景技术

如今在机场、火车站、汽车站、地铁站、口岸、边检、海关、政府机关大楼、大使馆、会展中心等场所，均设有物品安检设备，可以检测出可疑物品。可疑物品涉及违法犯罪时，相关工作人员可以收集到的实物证据一般都局限于可疑物品本身，很难收集到能够证明可疑物品与嫌疑人员关联的证据，从而无法利用证据有效指控嫌疑人员。

目前，在现实的安检场景中，由于背景十分复杂，行人是流动的，物品种类是繁多的，单个种类的目标检测模型不足以满足行人与物品关联的检测判断。而现有技术中，尚未有一种目标检测方法能够将行人与提取物品这个动作之间进行有效关联。

因此，现在亟需一种能够准确检测行人提取物品行为的方法来解决上述问题。

发明内容

本发明提供一种克服上述问题或者至少部分地解决上述问题的一种基于时空关系的行人提取物品行为检测方法及系统。

根据本发明提供的第一方面，本发明提供一种基于时空关系的行人提取物品行为检测方法，包括：

基于训练好的行人关键点检测模型、人脸关键点检测模型以及物品检测模型，对获取的监控视频帧图像进行实时检测，分别得到行人检测结果、人脸检测结果以及物品检测结果；

基于所述物品在所述监控视频帧图像中的时空关系，将所述行人检测结果和所述人脸检测结果进行匹配，得到关联的行人与人脸匹配结果，并将所述行人检测结果和所述物品检测结果进行匹配，得到关联的行人与物品匹配结果；

检测出提取物品的行为，并根据所述行人与物品匹配结果，关联出提取物品的行为对应的行人。

其中，所述方法还包括：

利用构建的行人数据集，进行深度学习训练得到所述行人关键点检测模型；

利用构建的人脸数据集，进行深度学习训练得到所述人脸关键点检测模型；

利用构建的物品数据集，进行深度学习训练得到所述物品检测模型，其中，所述行人数据集、人脸数据集以及物品数据集是从历史监控视频中截取的视频帧图像，并标注和分类出所述视频帧图像中的行人、人脸以及物品形成的。

其中，所述基于训练好的行人关键点检测模型、人脸关键点检测模型以及物品检测模型，对获取的监控视频帧图像进行实时检测，分别得到行人检测结果、人脸检测结果以及物品检测结果，包括：

基于训练好的行人关键点检测模型，获取行人在帧图像上的人体定位矩形框和人体骨架信息；

基于训练好的人脸关键点检测模型，获取帧图像上的人脸定位矩形框和人脸对齐矫正后的人脸图片；

基于训练好的物品检测模型，获取帧图像上的物品定位矩形框。

其中，所述将所述行人检测结果和所述人脸检测结果进行匹配，得到关联的行人与人脸匹配结果，包括：

在同一帧图像中，若人脸在图像中的区域是否与行人人体骨架信息中的头部区域重叠程度大于预设阈值，则判定所述行人与人脸关联匹配成功。