[发明专利]一种多模态数据处理方法及系统

说明书

本发明提出一种多模态数据处理方法及系统，包括：获取多个多模态数据样本，并将多模态数据样本的质量评价作为特征，将多模态数据样本的模态组合作为标签；以特征为输入，并以标签为训练目标，训练多类分类器模型，得到模态选择模型；获取待处理多模态数据，将待处理多模态数据的特征输入模态选择模型，得到模态组合选择结果，通过将待处理多模态数据中除模态组合选择结果以外的置0，得到修改后的多模态数据；修改后的多模态数据输入指定的多模态机器学习任务模型，将多模态机器学习任务模型的输出结果作为待处理多模态数据的多模态数据处理结果。本发明可以提升低数据质量下的多模态机器学习模型性能。

技术领域

本发明涉及普适计算和多模态机器学习领域，具体涉及一种基于数据质量评估的多模态数据选择方法及系统。

背景技术

多模态机器学习利用多种数据模态之间的互补性和冗余性，比单模态机器学习更全面、更鲁棒。但多模态机器学习在真实应用场景中面临各模态数据质量不稳定的问题，传感器自身特性、信号传输不稳定、开放环境干扰性强等因素会使得各模态数据出现诸如噪声严重、部分模态数据缺失等问题，且问题严重程度随着时间会有波动。数据质量不稳定将导致不同模态之间存在信息冲突等问题，降低多模态机器学习模型性能。比如多模态手势识别任务，其可能涉及RGB视频、深度视频、音频、肌电和Kinect关节运动信息等等模态。

针对数据质量问题，现有的主要解决方式是通过中值滤波等方法对数据进行降噪处理、通过下采样或插值等方法减小单一模态数据损坏的影响，以及一些针对特定模态的处理方式，例如具有注意机制的卷积神经网络，它能够感知图像中人脸被遮挡区域，并聚焦于最具可辨别性的未遮挡区域，提高对遮挡的鲁棒性。

现有技术中，针对特定模态的方法无法在多种数据模态中应用，缺乏对多模态任务的针对性，而模态通用的处理方法如插值或中值滤波又只能应对比较简单的数据受损情况。各种现有的针对多模态数据质量问题的处理方法都没有充分利用多模态之间的有效冗余性，从主动的高质量数据模态选择的角度来解决问题。

发明内容

本发明的目的是克服多模态融合机器学习过程中各模态数据质量不稳定对机器学习模型性能的负面影响，提出了一种基于数据可用性质量评估的多模态数据选择方法。

针对现有技术的不足，本发明提出一种多模态数据处理方法，其中包括：

步骤1、获取多个多模态数据样本，并将该多模态数据样本的质量评价作为特征，将该多模态数据样本的模态组合作为标签；

步骤2、以多模态数据样本的该特征为输入，并以多模态数据样本的该标签为训练目标，训练多类分类器模型，得到模态选择模型；

步骤3、获取待处理多模态数据，将该待处理多模态数据的特征输入该模态选择模型，得到模态组合选择结果，通过将该待处理多模态数据中除该模态组合选择结果以外的置0，得到修改后的多模态数据；

步骤4、修改后的多模态数据输入指定的多模态机器学习任务模型，将该多模态机器学习任务模型的输出结果作为该待处理多模态数据的多模态数据处理结果。

所述的多模态数据处理方法，其中该步骤1包括：

步骤11、对每个多模态数据样本，使用多个单一维度质量评价函数进行打分，并将打分结果汇总，得到的质量评分向量作为当前该多模态数据样本的特征。

所述的多模态数据处理方法，其中该步骤1包括：

步骤12、初始化H为最大熵值，初始化最优模态组合为全模态；针对用于进行多分类的神经网络模型，其最后一层softmax层将会输出一系列概率值，记为p_j，设一共有M个分类类别，则通过下式计算熵值H_p：