[发明专利]一种骨架人体行为识别方法、装置及设备

说明书

本发明实施例提供一种骨架人体行为识别方法、装置及设备，包括：获取目标对象的骨架数据；基于所述骨架数据的关键点计算得到关节差异数据及骨骼差异数据；基于所述关节差异数据及骨骼差异数据进行特征提取，得到骨架数据特征及骨架差异数据特征，并基于所述骨架数据特征获得关节数据特征以及关节差异数据特征；分别基于所述关节数据特征及关节差异数据特征、骨骼数据及骨骼差异数据特征进行特征数据拼接融合，得到关节拼接特征及骨骼拼接特征；将不同维度分支的关键位置特征分别与所述关节拼接特征及骨骼拼接特征进行强化融合，得到动作分类预测结果。本发明通过对人体的细节信息进行特征识别，使得对人体行为识别更加精准。

技术领域

本发明涉及人体行为识别技术领域，具体涉及一种骨架人体行为识别方法、装置及设备。

背景技术

人体行为识别是机器视觉领域中一个热门的研究课题，旨在对人体动作中存在于空间上、时间上的特征信息进行捕捉和提取，并根据这些特征信息进一步对人体的动作种类做出判定。骨架人体行为识别方法则是使用直接或间接从人体动作中提取的骨架数据作为输入数据的人体行为识别方法。与RGB视频数据相比，骨架数据具有环境干扰不敏感、有效信息密度高、数据存储空间小等优点。

当前的骨架人体行为识别方法使用Microsoft Kinect传感器直接采集具有标注的骨架数据或者使用OpenPose算法从RGB人体动作视频中提取骨架数据作为输入数据，并使用深度学习中的循环神经网络方法、卷积神经网络方法和图卷积神经网络方法对骨架数据进行人体行为识别。然而，现有的人体行为识别方法是对单种数据特征提取网络的改造，或者基于单种数据获得的预测分数相加融合方法对骨架数据及其衍生数据进行融合，这些方法对衍生数据及融合数据缺少足够关注，这导致骨架数据的信息使用不够充分，进而对最终的识别精确度造成影响。

发明内容

因此，本发明要解决的技术问题在于克服现有技术中对骨架数据的信息使用不够充分的缺陷，从而提供一种骨架人体行为识别方法、装置及设备。

根据第一方面，本发明实施例提供了一种骨架人体行为识别方法，包括：获取目标对象的骨架数据，所述骨架数据包括关节数据和骨骼数据；基于所述骨架数据的关键点计算得到关节差异数据及骨骼差异数据；基于所述关节差异数据及骨骼差异数据进行特征提取，得到骨架数据特征及骨架差异数据特征，并基于所述骨架数据特征获得关节数据特征以及关节差异数据特征；分别基于所述关节数据特征及关节差异数据特征、骨架数据特征及骨架差异数据特征进行特征数据拼接融合，得到关节拼接特征及骨骼拼接特征；将不同维度分支的关键位置特征分别与所述关节拼接特征及骨骼拼接特征进行强化融合，得到动作分类预测结果。

可选地，所述基于所述骨架数据的关键点计算得到关节差异数据，包括：基于所述骨架数据提取关节数据；基于所述关节数据建立关节坐标系；基于所述关节坐标系提取预设时间内的关节变化数据，并基于所述关节变化数据以及关节数据计算预设时间内的差值，以此得到关节差异数据。

可选地，所述基于所述骨架数据的关键点计算得到骨骼差异数据，包括：基于所述骨架数据提取骨骼数据；基于所述骨骼数据建立骨骼坐标系；基于所述骨骼坐标系提取预设时间内的骨骼位置变化数据，并基于所述骨骼变化数据以及骨骼数据计算预设时间内的差值，以此得到骨骼差异数据。

可选地，所述基于所述骨骼差异数据进行特征提取，得到骨架数据特征及骨架差异数据特征，包括：基于所述骨骼差异数据以及预设时间构建骨架差异数据坐标系；基于所述骨架差异数据坐标系提取预设时间内骨骼差异变化图像；基于所述骨骼差异变化图像获得骨架数据特征及骨架差异数据特征。

可选地，基于所述关节数据特征及关节差异数据特征进行特征数据拼接融合，得到关节拼接特征，包括：基于所述关节数据特征以及关节差异数据特征构建网络图层；基于所述第一网络图层进行数据排序，获得第一排序结果；基于所述第一排序结果进行特征数据拼接融合，得到关节拼接特征。