[发明专利]基于相似度图神经网络的异常行为智能检测方法及系统

权利要求书

1.一种基于相似度图神经网络的异常行为智能检测方法，其特征在于，包括：

信息获取步骤：对监控视频中人员的异常行为进行拍摄得到训练视频序列；

网络训练步骤：提取训练视频序列中人体骨骼点得到骨骼点序列，利用提取的骨骼点序列构建图网络结构，使用相似度图神经网络对骨骼点序列进行学习并训练网络；

异常检测步骤：对训练视频序列中人体骨骼点进行识别，利用提取的骨骼点序列构建图网络结构，再用相似度图神经网络对骨骼点序列进行特征提取，并进行异常行为识别；

智能记录步骤：自动截取异常视频片段，标注异常行为类型，保存到数据库；

所述信息获取步骤具体包括：

步骤1.1：在场所中利用监控设备拍摄人员的异常行为视频流；

步骤1.2：根据视频流抽取视频帧；

步骤1.3：对视频帧进行预处理；其中，所述预处理包括：裁剪和滤波；

所述构建骨骼点序列图网络结构包括：

提取每个帧中每个人体关节的二维坐标表示；

在每一帧内将每个人的所有关节点连接；

每个关节在连续的坐标系中连接到同一个关节；

同时引入图数据的时间序列信息，构建骨骼点时空间序列图，对构建图类型数据采用相似度进行特征提取和判别；构建骨骼点序列图网络结构包括：首先提取每个帧中每个人体关节的二维坐标表示；利用时空图形成骨架序列的层次表示，构造一个无向时空图G＝(V；E)，将每一帧内每个人的所有关节点连接，最后把每个关节在连续的坐标系中连接到同一个关节；

对于顶点集合：V＝{V_ti∣t＝1，...，T，i＝1，...，N}，由t帧的第i个关节点构成；t表示帧数，i表示关节点编号；

所述训练相似度图神经网络模型包括：

对监控拍摄的训练视频样本进行标注；

随机获取两个骨骼图及相似度，骨骼图输入三层带有RELU函数的图神经网络来获得节点级的嵌入；

利用基于全局上下文向量的注意机制实现图级嵌入；

利用神经张量网络对两种图嵌入之间的关系进行建模；

用标准的全连通层对关系向量进行降维处理；

图相似度计算模型中设置学习率0.001和dropout 0.5；相似度图神经网络训练完成后，所有的训练骨骼图都进入训练骨骼库。

2.根据权利要求1所述的基于相似度图神经网络的异常行为智能检测方法，其特征在于，所述异常行为类型包括：传递异常物品行为和异常使用通讯设备。

3.根据权利要求1所述的基于相似度图神经网络的异常行为智能检测方法，其特征在于，所述检测步骤包括：

步骤3.1：使用YOLO网络检测视频流中是否有人并进行定位；

步骤3.2：若视频流中判断为否，则继续获取检测视频流；

步骤3.3：若视频流中判断为是，使用Alphapose网络提取视频中人体的骨骼点信息；

步骤3.4：利用提取的骨骼点序列构建图网络结构；

步骤3.5：使用相似度图神经网络对骨骼点序列进行特征提取，并进行行为识别。

4.根据权利要求3所述的基于相似度图神经网络的异常行为智能检测方法，其特征在于，所述定位包括：使用Yolo目标识别深度网络进行模型训练，定位骨骼和人头的位置，确定人数，根据基于相似度图神经网络的异常行为智能检测算法检测网络，训练异常检测模型，确定异常行为。

5.根据权利要求3所述的基于相似度图神经网络的异常行为智能检测方法，其特征在于，所述相似度图神经网络检测行为过程包括：

步骤3.5.1：将待检测的骨骼图与训练骨骼库中的一个骨骼图输入三层带有RELU函数的图神经网络来获得节点级的嵌入；

步骤3.5.2：利用基于全局上下文向量的注意机制实现图级嵌入；

步骤3.5.3：利用神经张量网络对两种图嵌入之间的关系进行建模；

步骤3.5.4：用标准的全连通层对关系向量进行降维处理；

步骤3.5.5：输出两幅骨骼图的相似度分数；

待检测的骨骼图与训练骨骼库中的每一个骨骼图依次进行以上步骤3.5.1～步骤3.5.5，最后输出所有相似度的前三位加权平均分数，以进行异常行为识别。