[发明专利]行为识别模型训练方法、识别方法、装置及存储介质

说明书

本发明公开了一种行为识别模型训练方法、识别方法、装置及存储介质。其中，该行为识别模型训练方法包括：基于训练样本集中的骨骼序列生成骨骼序列的语义图，语义图至少包括：结构语义图，结构语义图中根节点对应的邻居节点范围为L跳，L为大于1的自然数；对语义图进行图卷积网络(GCN)运算，提取所述骨骼序列对应的特征；基于提取的特征对骨骼序列进行行为预测；基于行为预测的识别误差对行为识别模型的模型参数进行调整，得到训练好的行为识别模型。

技术领域

本发明涉及行为识别领域，尤其涉及一种行为识别模型训练方法、识别方法、装置及存储介质。

背景技术

行为识别，作为计算机视觉领域的一个重要分支，主要研究目标是让计算机通过摄像机等采集设备来感知视觉场景中的对象在干什么，可应用于安防监控、无人超市、教育娱乐等多领域，是现代化看护、监控的重要手段之一，极大地提高了设备智能化水平。

行为识别具体可分为基于图像视频的行为识别与基于人体骨骼的行为识别。图像视频不仅包含了复杂的背景，还有光照变化、视角变化、人体外貌变化等不确定因素，这使得基于图像视频的行为识别具有一定的局限性。相比基于图像视频的行为识别，基于人体骨骼的行为识别可以很好地克服这些不确定因素的影响。

相关技术中，往往基于图卷积网络(Graph Convolutional Network，GCN)对骨骼拓扑图建模，以表达骨骼之间的自然连接关系，但基于图卷积网络的骨骼行为识别方法存在以下缺点：行为特征仅在局部提取，无法完整、准确地表达骨骼行为，影响骨骼行为识别的准确率。

发明内容

有鉴于此，本发明实施例提供了一种行为识别模型训练方法、识别方法、装置及存储介质，旨在提高骨骼行为识别的准确率。

本发明实施例的技术方案是这样实现的：

本发明实施例提供了一种行为识别模型训练方法，包括：

基于训练样本集中的骨骼序列生成所述骨骼序列的语义图，所述语义图至少包括：结构语义图，所述结构语义图中根节点对应的邻居节点范围为L跳，L为大于1的自然数；

对所述语义图进行图卷积网络(GCN)运算，提取所述骨骼序列对应的特征；

基于提取的特征对所述骨骼序列进行行为预测；

基于行为预测的识别误差对行为识别模型的模型参数进行调整，得到训练好的行为识别模型。

本发明实施例还提供了一种行为识别方法，包括：

获取待识别的骨骼序列；

利用前述实施例所述方法训练得到的行为识别模型对所述待识别的骨骼序列生成语义图；

所述行为识别模型对所述语义图基于GCN进行特征提取；

所述行为识别模型基于提取的特征对所述待识别的骨骼序列进行行为预测，确定所述待识别的骨骼序列对应的行为。

本发明实施例又提供了一种行为识别模型训练装置，包括：

第一语义图生成模块，用于基于训练样本集中的骨骼序列生成所述骨骼序列的语义图，所述语义图至少包括：结构语义图，所述结构语义图中根节点对应的邻居节点范围为L跳，L为大于1的自然数；

第一特征提取模块，用于对所述语义图进行GCN运算，提取所述骨骼序列的特征；

第一行为预测模块，用于基于提取的特征对所述骨骼序列进行行为预测；

模型训练模块，用于基于行为预测的识别误差对行为识别模型的模型参数进行调整，得到训练好的行为识别模型。

本发明实施例又提供了一种行为识别装置，包括：