[发明专利]手势识别模型的训练方法、手势识别方法及系统

权利要求书

1.一种手势识别模型的训练方法，包括：

获取用于手势识别的训练样本的多模态数据；

从所述多模态数据集中分别提取每个模态的特征数据，所述每个模态的特征数据包括一维特征数据或多维特征数据；

通过包括交叉注意力机制和单向注意力机制的混合注意力机制强化任一模态的多维特征数据，并将强化后的多维特征数据与其余模态的特征数据进行特征融合，其中：在不同模态的多维特征数据之间，采用交叉注意力机制强化所述任一模态的多维特征数据；以及在不同模态的多维特征数据和一维特征数据之间，采用单向注意力机制强化所述任一模态的多维特征数据；以及

基于融合后的特征数据对神经网络模型进行训练。

2.根据权利要求1所述的方法，其中，所述在不同模态的多维特征数据之间，采用交叉注意力机制强化所述任一模态的多维特征数据包括：

通过全局平均池化压缩所述不同模态的多维特征数据；

基于压缩后的每个模态的多维特征数据计算其对应模态的交叉注意力值；以及

利用每个模态的多维特征数据的交叉注意力值，强化其他模态的多维特征数据。

3.根据权利要求2所述的方法，其中，所述交叉注意力值的计算公式为：

β＝softmax(λ₂Relu(λ₁ε))

其中，β表示任一模态的多维特征数据X的交叉注意力值，λ₁和λ₂为可训练的参数，ε表示任一模态的多维特征数据的通道描述符，Relu表示线性整流函数，softmax表示归一化指数函数。

4.根据权利要求1所述的方法，其中，所述在不同模态的多维特征数据和一维特征数据之间，采用单向注意力机制强化所述任一模态的多维特征数据包括：

重构所述任一模态的多维特征数据，获得重构后对应模态的二维特征数据；

重构任一模态的一维特征数据，使得重构后对应模态的一维特征数据的长度与待强化的重构后任一模态的二维特征数据的高度相同；

基于重构后任一模态的二维特征数据以及重构后任一模态的一维特征数据，获得所述任一模态的多维特征数据相对于所述任一模态的一维特征数据的单向注意力值；以及

利用所述任一模态的多维特征数据相对于所述任一模态的一维特征数据的单向注意力值，强化其对应模态的多维特征数据。

5.根据权利要求4所述的方法，其中，所述单向注意力值的计算公式为：

其中，α_xz表示任一模态的多维特征数据X相对于任一模态的一维特征数据Z的单向注意力值，X_x为重构后任一模态的多维特征数据X的二维特征数据，Z_z为重构后任一模态的一维特征数据，T为转置操作。

6.一种手势识别方法，包括：

获取用于手势识别的多模态数据；

从所述多模态数据集中分别提取每个模态的特征数据，所述每个模态的特征数据包括一维特征数据或多维特征数据；

通过包括交叉注意力机制和单向注意力机制的混合注意力机制强化任一模态的多维特征数据，并将强化后的多维特征数据与其余模态的特征数据进行特征融合，其中：在不同模态的多维特征数据之间，采用交叉注意力机制强化所述任一模态的多维特征数据；以及在不同模态的多维特征数据和一维特征数据之间，采用单向注意力机制强化所述任一模态的多维特征数据；以及

基于融合后的特征数据利用权利要求1-5获得的神经网络模型进行手势识别。