[发明专利]一种行为识别方法、系统、设备及存储介质

说明书

本发明实施例提供了一种行为识别方法、系统、设备及存储介质，其中，方法包括：利用预设人体姿态估计算法，对目标视频的每一帧图像进行关节点数据提取，获得目标视频中的目标人物的关节点数据组，利用预设人体姿态估计算法，根据关节点数据组，获得目标人物的骨架数据组和目标人物的关节数据组，基于预设动静态结合特征提取模型，从关节数据组中，提取动静态结合特征向量组，利用预设骨架序列特征提取模型，对骨架数据组进行特征向量提取，获得目标人物的骨架序列特征向量，根据目标人物的骨架序列特征向量和动静态结合特征向量组，确定目标人物的行为状态。本发明可以提高对行为动作的识别精度。

技术领域

本发明涉及行为识别技术领域，特别是涉及一种行为识别方法、系统、设备及存储介质。

背景技术

行为识别技术是对视频中目标的行为特征进行识别和提取的技术。随着近年来深度学习技术的发展，深度学习也开始被应用于行为识别技术领域，以提高行为识别的准确率。目前，基于深度学习的行为识别方法主要分为两大类，分别是基于多帧图像序列的时空特征提取方法，以及基于骨骼序列的行为识别方法。

但是，基于多帧图像序列的时空特征提取方法，由于其训练数据易受真实场景的复杂度、视角变化、遮挡等因素的影响，只是该方法中训练后的模型泛化能力不足，对于复杂行为动作无法准确识别。而基于骨骼序列的行为识别方法，其对行为动作的识别精度，高度依赖对骨骼信息的提取精度。且现有的骨骼信息提取方法，无法清楚表达关节点间的关系，使得现有基于骨骼序列的行为识别方法，无法实现对细微行为动作或相似行为动作的准确识别。可见，现有技术对行为动作的识别精度低。

发明内容

本发明实施例的目的在于提供一种行为识别方法、系统、设备及存储介质，以实现提高对行为动作的识别精度。具体技术方案如下：

一种行为识别方法，所述方法包括：

利用预设人体姿态估计算法，对目标视频的每一帧图像进行关节点数据提取，获得所述目标视频中的目标人物的关节点数据组。

利用所述预设人体姿态估计算法，根据所述关节点数据组，获得所述目标人物的骨架数据组和所述目标人物的关节数据组，其中，所述骨架数据组中包括所述目标视频各帧图像中的骨架图像数据，所述关节数据组中包括多个目标关节的图像数据组，每个所述目标关节的图像数据组中均包括所述目标视频各帧图像中，该目标关节的关节图像数据。

基于预设动静态结合特征提取模型，从所述关节数据组中，提取动静态结合特征向量组，其中，所述动静态结合特征向量组包括多个动静态结合特征向量，所述目标关节与所述动静态结合特征向量存在一一对应关系。

利用预设骨架序列特征提取模型，对所述骨架数据组进行特征向量提取，获得所述目标人物的骨架序列特征向量。

根据所述目标人物的骨架序列特征向量和所述动静态结合特征向量组，确定所述目标人物的行为状态。

可选的，所述预设动静态结合特征提取模型由预设流密算法、预设目标视频序列特征提取模型和预设动静态特征聚合算法组成，所述基于预设动静态结合特征提取模型，从所述关节数据组中，提取动静态结合特征向量组，包括：

对所述关节数据组中的各目标关节的图像数据组：利用所述预设流密度算法，对该目标关节的图像数据组中每一帧图像的所述关节图像数据进行光流提取，获得与该目标关节的图像数据组匹配的目标关节光流数据组，其中，所述目标关节光流数据组中，包括所述目标视频每一帧图像中，与所述关节图像数据对应的目标关节光流数据。利用所述预设目标视频序列特征提取模型，从该目标关节的图像数据组中分别提取第一静态特征向量组和第一动态特征向量组。利用所述预设目标视频序列特征提取模型，从与该目标关节的图像数据组匹配的所述目标关节光流数据组中，分别提取第二静态特征向量组和第二动态特征向量组。利用所述预设动静态特征聚合算法，根据所述第一静态特征向量组、第一动态特征向量组、第二静态特征向量组和第二动态特征向量组，获得与该目标关节图像数据组匹配的动静态结合特征向量。