[发明专利]一种模态有缺失数据的图像分类方法

说明书

本发明公开了有缺失数据的两模态聚类方法，本方法基于自编码器，通过模态内重构损失来学习各个模态数据的模态特殊表示，通过跨模态对比学习损失来学习模态的一致性表示，通过跨模态对偶预测损失来恢复丢失的模态、抛弃模态间不一致的信息，进一步提高一致性，将数据恢复和一致性学习进行统一处理，聚类效果更好。

技术领域

本发明涉及大数据分析领域，具体涉及一种模态有缺失数据的图像分类方法。

背景技术

目前多模态数据聚类技术广泛应用于各个领域。如在商品推荐中，结合海量商品图像与文本属性，学习图像语义特征表达，提高符合用户需求的商品推荐度；在与智能客服进行的多轮对话中，融入视觉与语言的多模态聚类技术，可以自动实现对用户进行自动的文本、图片或视频应答。这些多模态技术的成功主要得益于对多模态数据进行一致性学习，即探索和利用在不同模态之间数据内在的相关性和不变性。然而一致性学习建立在多模态数据的完备性基础上——所有的数据样本都涵盖了所有的模态，不能有模态数据缺失的情况。然而由于数据采集环境的复杂性，实际数据中往往存在模态缺失的情况，例如在在线会议中，一些视频帧可能会因为传感器的损坏而丢掉视觉或者听觉信号。如在医学诊断中，病人往往不会进行所有的身体检查，而只进行部分检查，如何利用部分检查信息进行病因诊断，其本质就是多模态有缺失数据的聚类问题。在目前的技术基础上，要对真实的多模态数据进行聚类，需要预先对数据进行补全以保证待聚类对象的完备性。目前的补全方法主要是针对样本间的相似度而不是缺失的数据样本本身，例如，基于矩阵分解的双端对齐不完全多模态聚类(DAIMC)、部分多模态聚类(PVC)和不完全多模态可视化数据分组(IMG)方法。

不完全多模态的数据聚类方法大致可以分为两类：一是基于浅层模型的方法，例如，Menglei Hu等人提出的DAIMC方法通过低秩矩阵分解对多模态间的高阶相关性进行建模，并结合相关先验信息，有效利用多模态间的一致信息，实现多模态的子空间学习。二是基于深度学习的方法，例如，Yangbangyan Jiang等人提出的DM2C方法首先通过自编码器获取各个模态的模态特殊化表示，然后采用循环生成对抗网络(Cycle GenerativeAdversarial Networks)，利用完整的模态数据对缺失的模态数据进行生成，并将各个模态的模态特殊表示进行拼接，得到公共表示。

其次，几乎所有现有方法都将数据恢复和一致性学习视为两个独立的问题或步骤，缺乏统一的理论理解。如基于生成对抗网络的深度混合模态聚类(DM2C)和对抗性不完全多模态聚类(AIMC)。因此，在模态数据缺失场景下，研究一个统一的数据补全与一致性学习的数据聚类技术具有很高的应用前景和实际价值。例如，对模态有缺失数据的图像进行分类，目前主要依赖于人工，需要大量的人力资源。

发明内容

针对现有技术中的上述不足，本发明提供的一种模态有缺失数据的图像分类方法解决了现有技术对模态有缺失数据的图像进行分类需要大量的人力资源的问题。

为了达到上述发明目的，本发明采用的技术方案为：

提供一种模态有缺失数据的图像分类方法，其包括以下步骤：

S1、将同时存在两个模态的样本的两个模态数据分别送入对应的自编码器中，得到对应的隐表示；

S2、根据两个模态数据对应的隐表示分别获取对应的跨模态对比学习损失和模态内重构损失；

S3、根据跨模态对比学习损失和模态内重构损失对当前自编码器进行反向传播更新当前自编码器的参数和权重；

S4、判断反向传播次数是否到达阈值，若是则进入步骤S5，否则返回步骤S1；

S5、根据两个模态数据对应的当前最新的隐表示获取对应的跨模态对比学习损失、模态内重构损失和跨模态对偶预测损失；

S6、根据当前最新的跨模态对比学习损失、跨模态对偶预测损失和模态内重构损失对当前自编码器进行反向传播更新当前自编码器的参数和权重；