[发明专利]基于随机变分信息的手势识别方法、装置、设备及介质

说明书

本发明公开了基于随机变分信息的手势识别方法、装置、设备及介质，方法包括：对获取的待测数据进行特征提取，得到不同模态下的特征数据；获取变分信息瓶颈；通过所述变分信息瓶颈对所述特征数据中随机的局部信息进行压缩处理，并保留所述特征数据中剩余的局部信息，得到不同模态下的特征数据的融合结果；将所述不同模态下的融合结果输入预设模型，输出手势识别结果。本发明能够充分利用多模态之间的关联性，降低干扰噪声，进而提高识别准确性，可广泛应用于图像处理技术领域。

技术领域

本发明涉及图像处理技术领域，尤其是基于随机变分信息的手势识别方法、装置、设备及介质。

背景技术

在当下科技飞速发展的年代，利用人工智能技术实现人类与机器之间更好的交互具有非常重要的意义。随着芯片、通信等技术的飞速发展，人们可以获取的信息变得愈发丰富。对同一个对象通过不同领域或不同视角得到的数据就是多模态数据，其中每一个领域或视角就称为一个模态。相比于传统的单一模态感知，多模态学习能够借助各模态数据之间的关系更好完成感知任务。因此，多模态机器学习(Multi-Modal Machine Learning,MMML)快速成为当下的研究热点，并成功应用于语音识别，信息检索，人机交互等领域。

手势是一种典型的人机交互方式，高精度、高鲁棒的手势识别将有助于实现更自然地交互与理解。就手势识别技术而言，依据其所依赖的信号源种类，也可以被分为单模态和多模态两类。仅依赖于单一模态进行手势识别的方法，具有简单高效的优点。但由于单模态对手势观察具有片面性，仅靠单模态进行手势识别，特别是动态手势识别，很难取得较好效果。而多模态手势识别可以利用多个数据模态之间的信息互补特性，充分地从多个角度来获取手势相关信息，因而受到了广泛关注。

在多模态手势识别过程中，各模态数据之间既存在关联关系，也存在信息的无效冗余。关联关系主要是指对同一手势信息的关联性描述，比如视频信息与骨骼信息的关联性。通过对模态关联关系的分析可以较好地应对模态的缺失问题，或者模态信号质量差时模型的不鲁棒问题。无效冗余主要包括真实场景下采集的某些模态数据存在复杂多变的环境噪声，使之与其他模态可能出现信息冲突。这样的无效冗余信息，会对手势识别模型造成干扰；而且模型对无效冗余信息进行不当学习，将影响模型的识别性能。

然而，多模态融合技术仍存在有用信息无法得到有效的利用，冗余信息无法得到更好的抑制，多种模态信息无法得到细粒度的融合等挑战。基于简单连接的传统多模态融合方法具有以下缺点：1、没有充分挖掘和利用多模态之间的关联性。2、存在于多模态之间的干扰噪声没有得到有效的抑制。

发明内容

有鉴于此，本发明实施例提供基于随机变分信息的手势识别方法、装置、设备及介质，以充分利用多模态之间的关联性，降低干扰噪声，进而提高识别准确性。

本发明实施例的一方面提供了基于随机变分信息的手势识别方法，包括：

对获取的待测数据进行特征提取，得到不同模态下的特征数据；所述模态包括视频模态、骨骼模态和音频模态；

获取变分信息瓶颈；

通过所述变分信息瓶颈对所述特征数据中随机的局部信息进行压缩处理，并保留所述特征数据中剩余的局部信息，得到不同模态下的特征数据的融合结果；

将所述不同模态下的融合结果输入预设模型，输出手势识别结果。

优选地，所述对获取的待测数据进行特征提取，得到不同模态下的特征数据，包括：

对所述待测数据进行数据划分，得到视频模态下的数据、骨骼模态下的数据以及音频模态下的数据；

通过3D卷积和2D卷积的方法对所述视频模态下的数据进行特征提取，得到第一模态特征；

通过全连接网络对所述骨骼模态下的数据进行特征提取，得到第二模态特征；