[发明专利]一种多模态特征融合的人物交互行为识别方法

说明书

本发明公开了一种多模态特征融合的人物交互行为识别方法，具体按照以下步骤实施：1、在现有3D骨骼数据集中筛选人、物交互动作类别，通过算法标定获取交互物信息；2、通过对步骤1获取的交互物信息基于深度学习的交互物判断算法对步骤1中3D骨骼数据集中人、物是否存在交互进行判断；3、对步骤2存在交互的动作类别，进行骨骼、RGB信息网络框架模型的搭建，并对模型进行训练；4、对步骤2存在交互的动作类别，考虑人与物时空关系变化规律，搭建人、物空间关系网络模型；5、对步骤3，步骤4模型整体进行优化，将骨骼、RGB、人物空间关系多模态信息特征进行融合，最后使用已训练好的模型对交互动作进行识别分类。

技术领域

本发明属于计算机视觉和行为识别技术领域，涉及一种多模态特征融合的人物交互行为识别方法。

背景技术

随着人工智能技术的不断发展和应用，人体行为识别是目前计算机视觉与模式识别领域的一个热门研究方向，其广泛应用于智能视频监控、运动行为分析、人机智能交互、虚拟现实等领域。因深度传感器可有效的避免受到光照、遮挡，环境变化等因素的影响，基于骨骼数据的行为识别方法得到了越来越多的研究。传统的基于骨架的动作识别通常人为设计特征来表示骨架，现有的基于深度学习的方法分为三种：递归神经网络模型(RNN)、卷积神经网络模型(CNN)、图卷积网络模型(GCN)，其中连接点信息分别被表示成向量序列、伪图像、图。基于序列的方法将骨架信息表示成有着设计好的遍历规则的骨架序列，然后用RNN进行动作识别；基于图像的方法通常把骨架信息表示成伪图像；基于图的方法用图来表示骨架信息，天然地保留了人体骨架信息。最近，将人体骨骼建模为时空图的图卷积网络(GCN)取得了优越的性能，但现有的方法中依然存在着如下问题：

(1)特征选择过于单一，不能更有效更丰富的反应运动变化信息对动作视频进行理解分类；

(2)对于场景中人与物存在交互的动作相互错分概率较高，识别准确率低；

(3)数据集存在一部分无法准确追踪到骨骼点的负样本，影响最终识别结果。

发明内容

本发明的目的是提供一种多模态特征融合的人物交互行为识别方法，解决了现有技术中存在的场景中人与物存在交互时动作相互错分概率较高，识别准确率低的问题。

本发明所采用的技术方案是，一种多模态特征融合的人物交互行为识别方法，具体按照以下步骤实施：

步骤1、在现有3D骨骼数据集NTU RGB+D中筛选人、物交互动作类别，通过算法标定获取交互物信息；

步骤2、通过对步骤1获取的交互物信息基于深度学习的交互物判断算法对步骤1中3D骨骼数据集NTU RGB+D中人、物是否存在交互进行判断；

步骤3、对步骤2存在交互的动作类别，进行骨骼、RGB信息网络框架模型的搭建，并对模型进行训练；

步骤4、对步骤2存在交互的动作类别，考虑人与物时空关系变化规律，搭建人、物空间关系网络模型；

步骤5、对步骤3，步骤4模型整体进行优化，将骨骼、RGB、人物空间关系多模态信息特征进行融合，最后使用已训练好的模型对交互动作进行识别分类。。

本发明的特点还在于：

步骤1具体按照以下步骤实施：

步骤1.1、在NTU RGB+D数据集60类动作中筛选存在人物交互动作类别；

步骤1.2、利用跟踪算法Siam RPN对步骤1.1筛选动作类别物体进行跟踪以获取物体位置(x_min,ymin,w，h)；

步骤1.3、每个动作序列物体位置信息以.txt格式保存方便数据的读入与预处理；