[发明专利]一种超关节与多模态网络及其在行为识别方法

权利要求书

1.一种超关节与多模态网络及其在行为识别方法，其特征在于，包括以下步骤：

S1采集人体深度图，利用DMMS流对深度图进行特征提取，并计算深度数据预测分数；

S2、采集人体骨架序列，并分别提取原始关节和超关节数据，结合超关节和普通关节构建骨架信息，将骨架信息送入结构化时空特征学习模型，分别得到静态和动态关节数据流、静态和动态超关节数据流，并将原始关节和超关节的数据流自适应权重融合，得到关节数据预测分数和超关节预测分数；

S3、将DMMS流和骨架流的分类预测分数相加生成最终的预测分数。

2.根据权利要求1所述的超关节与多模态网络及其在行为识别方法，其特征在于，所述步骤S2包括：

S21、根据普通关节的依赖关系进行超关节构建，并根据超关节和普通关节构建骨架信息；

S22、将骨架信息送入结构化时空特征学习模型。

3.根据权利要求2所述的超关节与多模态网络及其在行为识别方法，其特征在于，所述超关节构建包括：

首先，计算RWE和RWH，分别为RW指向RE和RH的方向向量，计算公式如下：

其中,RW，RE和RH分别表示人体骨架中的右手腕，右手肘和右手；

然后，计算两个相交向量的笛卡尔积得到向量所在平面的法向量n，计算公式如下：

然后，以RE为起点的两个骨骼的方向向量，计算两个方向向量的夹角，计算公式如下：

最后得到超关节数据向量HyperJoint，计算公式为：

4.根据权利要求3所述的超关节与多模态网络及其在行为识别方法，其特征在于，所述结合超关节和普通关节构建骨架信息包括：

构成人体的骨架图用变量G(V,H)表示，公式为：

其中，V是构成人体骨架图的空间节点集合，H是给人体骨架关节上建立的依赖关系；

骨架的动态信息被定义为骨架序列上相邻骨架上骨架元素之间的差，在时间域上给骨架姿态建立联系，公式如下：

5.根据权利要求2所述的超关节与多模态网络及其在行为识别方法，其特征在于，所述将骨架信息送入结构化时空特征学习模型包括：利用卷积神经网络的时空特征学习模块用于在骨架信息上人体动作特征的提取。

6.根据权利要求5所述的超关节与多模态网络及其在行为识别方法，其特征在于：所述时空特征学习模块包括节点时序特征学习块和空间全局特征学习块，通过叠加时空块，构建特征学习模块，从骨架信息中学习原始骨架节点之间依赖关系的有效时空特征。

7.根据权利要求6所述的超关节与多模态网络及其在行为识别方法，其特征在于：所述节点时序特征学习块的构建包括如下步骤：

首先，使用卷积块注意力模块对输入网络的张量增加注意力，表示提升输入数据的特征表达能力；

然后，使用卷积核大小为(1×1)的卷积层在网络中自动学习骨架关节的位置特征；公式化定义为：

f_T(X)＝σ(φ(Attn(X))) (9)

其中，X表示一个三阶张量φ表示由卷积层结构的函数，σ表示ReLU激活函数，而Attn表示一个注意力区块；

最后，使用大小为(3×1)的卷积核将骨架关节位置上学习到的特征信息在时间上聚合起来，输出是一个三阶张量通过如下公式进行定义：

A＝φ(f_T(X)) (10)

8.根据权利要求6所述的超关节与多模态网络及其在行为识别方法，其特征在于：所述空间全局特征学习块的构建包括：使用大小为(3×3)的卷积核在网络上自动学习骨架节点在空间域上协同运动的语义特征，卷积操作能够聚合构成人体的元素的空间结构信息，公式化定义为：

f_S(A)＝φ(A') (11)

其中，A'表示矩阵的变换，将一个三阶张量变换成