[发明专利]基于随机变分信息的手势识别方法、装置、设备及介质

权利要求书

1.基于随机变分信息的手势识别方法，其特征在于，包括：

对获取的待测数据进行特征提取，得到不同模态下的特征数据；所述模态包括视频模态、骨骼模态和音频模态；

获取变分信息瓶颈；

通过所述变分信息瓶颈对所述特征数据中随机的局部信息进行压缩处理，并保留所述特征数据中剩余的局部信息，得到不同模态下的特征数据的融合结果；

将所述不同模态下的融合结果输入预设模型，输出手势识别结果。

2.根据权利要求1所述的基于随机变分信息的手势识别方法，其特征在于，所述对获取的待测数据进行特征提取，得到不同模态下的特征数据，包括：

对所述待测数据进行数据划分，得到视频模态下的数据、骨骼模态下的数据以及音频模态下的数据；

通过3D卷积和2D卷积的方法对所述视频模态下的数据进行特征提取，得到第一模态特征；

通过全连接网络对所述骨骼模态下的数据进行特征提取，得到第二模态特征；

通过卷积操作对所述音频模态下的数据进行特征提取，得到第三模态特征。

3.根据权利要求1所述的基于随机变分信息的手势识别方法，其特征在于，所述获取变分信息瓶颈，包括：

获取所述不同模态下的特征数据作为输入数据；

根据所述输入数据，确定神经网络对所述输入数据的内部表示；

根据所述内部表示，确定所述内部表示与预设的输出目标之间的最大化的第一互信息，以及确定所述内部表示与所述输入数据之间的最小化的第二互信息；

根据所述第一互信息和所述第二互信息，确定所述变分信息瓶颈。

4.根据权利要求1所述的基于随机变分信息的手势识别方法，其特征在于，所述通过所述变分信息瓶颈对所述特征数据中随机的局部信息进行压缩处理，并保留所述特征数据中剩余的局部信息，得到不同模态下的特征数据的融合结果，包括：

按照预设的压缩比例从所述不同模态的特征数据中选取第一部分的数据，并通过所述变分信息瓶颈对所述第一部分的数据进行压缩，得到信息瓶颈层输出；

将所述不同模态的特征数据中剩余部分的数据输入全连接层，得到全连接层输出；

根据所述压缩比例，对所述信息瓶颈层输出和所述全连接层输出进行融合，得到融合结果。

5.根据权利要求1所述的基于随机变分信息的手势识别方法，其特征在于，所述将所述不同模态下的融合结果输入预设模型，输出手势识别结果，包括：

通过三层全连接层对所述不同模态下的融合结果进行训练，输出模型的判断结果，作为手势识别结果。

6.根据权利要求1所述的基于随机变分信息的手势识别方法，其特征在于，所述方法还包括对所述预设模型进行验证的步骤，包括：

验证不同信息瓶颈宽度和压缩比例对所述预设模型的影响程度；

验证不同隐变量采样策略对所述预设模型的影响程度；

验证不同叠加策略对所述预设模型的影响程度。

7.根据权利要求3所述的基于随机变分信息的手势识别方法，其特征在于，所述根据所述第一互信息和所述第二互信息，确定所述变分信息瓶颈中，所述变分信息瓶颈的优化目标为：

其中，J_IB代表变分信息瓶颈网络优化目标函数；N代表样本实例总个数；ε代表对Z使用重参数技巧的参数表示；p(ε)代表参数ε的边缘分布；q(y_n|f(x_n,ε))代表y_n与f(x_n,ε)的条件分布函数；y_n代表数据集中相应输出目标(标签)；x_n代表输入数据；f(x_n,ε)代表x_n与ε的联合分布函数；β代表控制多项式之间权重的超参数；D_KL代表控制多项式之间权重的超参数；p(Z|x_n)代表Z与x_n的条件分布函数；r(Z)代表隐变量z的边缘分布p(z)近似变分计算。