[发明专利]一种行为识别方法、装置、设备及介质

说明书

本申请公开了一种行为识别方法、装置、设备及介质，属于图像处理技术领域，该方法包括：获取待识别对象在连续时间上的图像序列，并利用姿态估计算法提取图像序列的关节点，得到目标关节点信息；提取目标关节点信息的时空特征信息，并利用时空特征信息构建带有时间维度和空间维度的多维邻接矩阵；其中，多维邻接矩阵中的每一个关节点均具有权重；将目标关节点信息划分为不同的区域，并确定各个区域内关节点之间的关联信息以及不同区域关节点之间的关联信息；对多维邻接矩阵和关联信息进行图卷积操作，得到目标卷积信息，并利用目标卷积信息对待识别对象的动作进行分类识别。通过该方法可以进一步提高待识别对象行为识别结果的准确度。

技术领域

本发明涉及图像处理技术领域，特别涉及一种行为识别方法、装置、设备及介质。

背景技术

在公共安全、医疗监护、交通管控等领域中，常常会使用行为识别算法来监测人们的异常行为。比如：在公共安全领域中，需要使用行为识别算法来检测公共场所中是否出现打架斗殴、盗窃等异常行为；在医疗监护领域，需要使用行为识别算法来检测病人是否出现跌倒、抽搐等异常行为；在交通管控领域中，需要使用行为识别算法来检测道路上是否出现交通事故等异常行为。

在现有技术中，一般是基于RGB(Red Green Blue，红绿蓝色彩模式)图像的行为识别模型来对人们的异常行为检测，但是，该方法会受到周围环境、背景复杂度以及图像采集视角等因素的影响，这样就导致行为识别结果的精确度较差。目前，针对这一技术问题，还没有较为有效的解决办法。

发明内容

有鉴于此，本发明的目的在于提供一种行为识别方法、装置、设备及介质，以进一步提高待识别对象行为识别结果的准确度。其具体方案如下：

一种行为识别方法，包括：

获取待识别对象在连续时间上的图像序列，并利用姿态估计算法提取所述图像序列的关节点，得到目标关节点信息；

提取所述目标关节点信息的时空特征信息，并利用所述时空特征信息构建带有时间维度和空间维度的多维邻接矩阵；其中，所述多维邻接矩阵中的每一个关节点均具有权重；

将所述目标关节点信息划分为不同的区域，并确定各个区域内关节点之间的关联信息以及不同区域关节点之间的关联信息，得到目标关联信息；

对所述多维邻接矩阵和所述目标关联信息进行图卷积操作，得到目标卷积信息，并利用所述目标卷积信息对所述待识别对象的动作进行分类识别。

优选的，所述利用姿态估计算法提取所述图像序列的关节点，得到目标关节点信息的过程，包括：

利用Openpose算法提取所述图像序列的关节点，得到所述目标关节点信息。

优选的，所述提取所述目标关节点信息的时空特征信息，并利用所述时空特征信息构建带有时间维度和空间维度的多维邻接矩阵的过程，包括：

利用第一模型提取所述目标关节点信息的时空特征信息；

其中，所述第一模型的表达式为：

式中，A(v_ti)表示邻域节点，v_ti表示卷积中心点，v_qi表示在空间维度上的邻域节点，表示在空间维度上两个关节点之间的距离，L表示判定两个关节点为相邻关节点的阈值，v_ni表示在时间维度上的邻域节点，表示在时间维度上第n张图像的卷积中心点与第n-1张图像以及第n+1张图像上对应位置关节点的邻域节点；

利用所述时空特征信息和第二模型构建带有时间维度和空间维度的所述多维邻接矩阵；

其中，所述第二模型的表达式为：