[发明专利]一种行为识别方法、装置、设备及介质

权利要求书

1.一种行为识别方法，其特征在于，包括：

获取待识别对象在连续时间上的图像序列，并利用姿态估计算法提取所述图像序列的关节点，得到目标关节点信息；

提取所述目标关节点信息的时空特征信息，并利用所述时空特征信息构建带有时间维度和空间维度的多维邻接矩阵；其中，所述多维邻接矩阵中的每一个关节点均具有权重；

将所述目标关节点信息划分为不同的区域，并确定各个区域内关节点之间的关联信息以及不同区域关节点之间的关联信息，得到目标关联信息；

对所述多维邻接矩阵和所述目标关联信息进行图卷积操作，得到目标卷积信息，并利用所述目标卷积信息对所述待识别对象的动作进行分类识别。

2.根据权利要求1所述的行为识别方法，其特征在于，所述利用姿态估计算法提取所述图像序列的关节点，得到目标关节点信息的过程，包括：

利用Openpose算法提取所述图像序列的关节点，得到所述目标关节点信息。

3.根据权利要求1所述的行为识别方法，其特征在于，所述提取所述目标关节点信息的时空特征信息，并利用所述时空特征信息构建带有时间维度和空间维度的多维邻接矩阵的过程，包括：

利用第一模型提取所述目标关节点信息的时空特征信息；

其中，所述第一模型的表达式为：

式中，A(v_ti)表示邻域节点，v_ti表示卷积中心点，v_qi表示在空间维度上的邻域节点，表示在空间维度上两个关节点之间的距离，L表示判定两个关节点为相邻关节点的阈值，v_ni表示在时间维度上的邻域节点，表示在时间维度上第n张图像的卷积中心点与第n-1张图像以及第n+1张图像上对应位置关节点的邻域节点；

利用所述时空特征信息和第二模型构建带有时间维度和空间维度的所述多维邻接矩阵；

其中，所述第二模型的表达式为：

式中，U_ti表示多维邻接矩阵，U_qi表示空间维度上的邻接矩阵，U_ni表示时间维度上的邻接矩阵，L_tq表示空间域内卷积中心点与邻域节点之间的距离，l_tq表示时间域内卷积中心点与邻域节点之间的距离。

4.根据权利要求3所述的行为识别方法，其特征在于，所述将所述目标关节点信息划分为不同的区域，并确定各个区域内关节点之间的关联信息以及不同区域关节点之间的关联信息，得到目标关联信息的过程，包括：

将所述目标关节点信息划分为头部区域、左上肢区域、右上肢区域、左下肢区域和右下肢区域；

根据第三模型分别确定所述头部区域、所述左上肢区域、所述右上肢区域、所述左下肢区域和所述右下肢区域内关节点之间的关联信息，并根据第四模型确定所述头部区域、所述左上肢区域、所述右上肢区域、所述左下肢区域和所述右下肢区域中不同区域关节点之间的关联信息，得到所述目标关联信息；

其中，所述第三模型的表达式为：

式中，表示v_qi所在区域内邻域节点之间的关系，b∈x¹且b≠a，表示基准向量，表示区域x¹内关节点a与关节点b之间的向量，x¹表示所述头部区域，x²表示所述左上肢区域，x³表示所述右上肢区域，x⁴表示左下肢区域，x⁵表示右下肢区域，i∈{1,2,3,4,5}；

所述第四模型的表达式为：

式中，表示区域xⁱ与区域x^j的中心节点之间的向量，xⁱ∈{x¹,x²,x³,x⁴,x⁵}，x^j∈{x¹,x²,x³,x⁴,x⁵}且xⁱ≠x^j。