[发明专利]基于图结构姿态聚类的人体异常行为检测方法及系统

权利要求书

1.基于图结构姿态聚类的人体异常行为检测方法，其特征是，包括：

获取待检测视频；

对待检测视频的每一帧图像进行骨骼跟踪，得到包含k个骨骼节点的骨骼序列；其中，k为正整数；获取骨骼节点的时空关系示意图；

对时空关系示意图中的每一帧图像骨骼节点的坐标位置进行处理，得到待检测视频的最终学习向量；

所述对时空关系示意图中的每一帧图像骨骼节点的坐标位置进行处理，得到待检测视频的最终学习向量；具体包括：

获取每一帧中骨骼节点的二维位置坐标；将每个骨骼节点的二维坐标位置转换为二进制表示形式；

对每一帧图像中每个骨骼节点的二进制形式的坐标位置，进行三角函数位置编码，得到编码后的位置；

将二进制表示的位置与三角函数编码后的位置，进行对位相加，将对位相加后的结果每一行的末尾均与其下一行的行首相接，得到每一帧图像对应的一行向量；

将视频中所有帧所对应的向量进行并联拼接，得到m行向量；m表示视频中帧的总个数；

对m行向量的每一行向量，利用随机函数随机生成位置编码，得到每一行的学习向量；所以，m行向量就得到m个学习向量；对m个学习向量进行按行拼接，得到待检测视频的最终学习向量；

将最终学习向量，输入到训练后的编码器encoder中，输出待分类的动作向量；

所述训练后的编码器encoder，其训练步骤包括：

构建训练集，所述训练集为已知分类标签的最终学习向量；

将训练集已知分类标签的最终学习向量作为编码器encoder的输入值，对编码器encoder进行训练，训练次数达到设定次数后，停止训练，得到训练后的编码器encoder；

在编码器encoder训练过程中，将训练集已知分类标签的最终学习向量作为编码器encoder的输入值，将编码器encoder输出得到的对应动作向量存入行为词典中，每一个动作向量均保存下来，就得到了对应的行为词典；行为词典是指存放分类标签和与其对应的动作向量的容器；行为词典，包括：所有分类标签以及与其对应的动作向量；

将待分类的动作向量和已知分类标签的动作向量进行聚类，得到当前待分类动作向量属于每个已知分类标签的概率值；

判断所述概率值是否超过设定阈值，如果超过设定阈值，则表示当前待检测视频存在人体异常行为；否则，表示不存在人体异常行为。

2.如权利要求1所述的基于图结构姿态聚类的人体异常行为检测方法，其特征是，对待检测视频的每一帧图像进行骨骼跟踪，得到包含k个骨骼节点的骨骼序列；其中，k为正整数；具体包括：

利用基于OpenPose的人体姿态检测算法，对待检测视频的每一帧图像进行骨骼跟踪，得到包含k个骨骼节点的骨骼序列。

3.如权利要求1所述的基于图结构姿态聚类的人体异常行为检测方法，其特征是，获取骨骼节点的时空关系示意图；具体包括：

在每一帧图像内，按照人体骨架连接关系，将骨骼节点进行连线，得到骨骼节点的空间关系示意图；

对相邻帧的同一骨骼节点进行连线，得到骨骼节点的时间关系示意图；

综合空间关系示意图和时间关系示意图，得到骨骼节点的时空关系示意图。

4.如权利要求1所述的基于图结构姿态聚类的人体异常行为检测方法，其特征是，将最终学习向量，输入到训练后的编码器encoder中，输出待分类的动作向量；具体包括：

将最终的学习向量输入到训练后的编码器encoder中：

先是经过注意力机制学习向量之间的联系，获得一个attention向量；

再将最终学习向量与attention向量进行残差连接；

最后，进行前向传播，得到待分类的动作向量。

5.如权利要求1所述的基于图结构姿态聚类的人体异常行为检测方法，其特征是，将待分类的动作向量和已知分类标签的动作向量进行聚类，得到当前待分类动作向量属于每个已知分类标签的概率值；具体包括：

利用自编码聚类算法Deep Embedded Clustering，将待分类的动作向量和行为词典中已知分类标签的动作向量进行聚类，得到当前待分类动作向量属于每个已知分类标签的概率值。