[发明专利]一种行人异常行为检测方法、系统、终端以及存储介质

说明书

本申请涉及一种行人异常行为检测方法、系统、终端以及存储介质。包括：从至少两路监控视频下的所有视频帧中提取行人的骨骼关键点信息，并获取每个骨骼关键点在同一坐标系下的三维空间坐标信息；根据所述每个骨骼关键点的三维空间信息构建所述行人的骨骼关键点时空图；将所述行人的骨骼关键点时空图输入时空图神经网络模型，计算得到所述行人的异常分数值，根据所述异常分数值判断所述行人是否行为异常。本申请能够减少摄像投影信息丢失、提高行人动作细节检测能力，更有效识别行人异常行为。

技术领域

本申请属于行人模式识别技术领域，特别涉及一种行人异常行为检测方法、系统、终端以及存储介质。

背景技术

随着城市规模不断扩大，城市公共空间越加复杂，城市人口数量越加庞大，给城市安全管理带来巨大挑战。随着智慧城市的不断建设发展，监控视频现已广泛普及且不断升级，基于监控视频的行人异常检测在城市安全管理领域发挥重大作用。

目前，基于监控视频的行人异常行为检测主要基于单个视点监控视频，并以行人整体或整个视频帧为基础进行运动特征、纹理特征的异常行为分析，或基于人体关键点进行检测识别。采用单个视频监控进行人体关键点的异常分析方法在实际使用中具有一定局限性，具体体现在以下几点：

一、无法进行跨视频的行人行为模式监控分析，且难以联合多个视点监控视频有效恢复行人三维关键点进行分析。

二、由于缺乏视频地理标定，难以对大范围行人行为进行建模分析、态势分析和预测预警。

三、由于人工标注数据需要耗费大量人力，通常首选较粗粒度的标注方法(例如只标注某个视频片段包含有行人异常事件而不标注具体时间以及具体的行人)以节省人力成本，目前还缺少此类粗粒度的标注数据，并以弱监督学习的方式训练异常行为检测模型。

发明内容

本申请提供了一种行人异常行为检测方法、系统、终端以及存储介质，旨在至少在一定程度上解决现有技术中的上述技术问题之一。

为了解决上述问题，本申请提供了如下技术方案：

一种行人异常行为检测方法，包括：

从至少两路监控视频下的所有视频帧中提取行人的骨骼关键点信息，并获取每个骨骼关键点在同一坐标系下的三维空间坐标信息；

根据所述每个骨骼关键点的三维空间信息构建所述行人的骨骼关键点时空图；

将所述行人的骨骼关键点时空图输入时空图神经网络模型，计算得到所述行人的异常分数值，根据所述异常分数值判断所述行人是否行为异常。

本申请实施例采取的技术方案还包括：所述从至少两路监控视频下的所有视频帧中提取行人的骨骼关键点信息，并获取每个骨骼关键点在同一坐标系下的三维空间坐标信息前还包括：

基于统一空间地理坐标框架对至少两路监控视频分别进行地理标定，对所述监控视频进行图像像素坐标与世界地理坐标的转换。

本申请实施例采取的技术方案还包括：所述对所述监控视频进行图像像素坐标与世界地理坐标的转换包括：

采用地理坐标系分别选取每路监控视频的控制点，并获取所述控制点的像素坐标及地理坐标；

利用相机标定方法获取相机参数并校正图像畸变；

选定矩形感兴趣地面区域，对所述监控视频进行透视变换及地理配准，进行图像像素坐标与世界地理坐标的转换：