[发明专利]一种模态有缺失数据的图像分类方法

权利要求书

1.一种模态有缺失数据的图像分类方法，其特征在于，包括以下步骤：

S1、将同时存在两个模态的图像样本的两个模态数据分别送入对应的自编码器中，得到对应的隐表示；其中两个模态为HOG和PHOG中的一个，以及GIST；

S2、根据两个模态数据对应的隐表示分别获取对应的跨模态对比学习损失和模态内重构损失；

S3、根据跨模态对比学习损失和模态内重构损失对当前自编码器进行反向传播更新当前自编码器的参数和权重；

S4、判断反向传播次数是否到达阈值，若是则进入步骤S5，否则返回步骤S1；

S5、根据两个模态数据对应的当前最新的隐表示获取对应的跨模态对比学习损失、模态内重构损失和跨模态对偶预测损失；

S6、根据当前最新的跨模态对比学习损失、跨模态对偶预测损失和模态内重构损失对当前自编码器进行反向传播更新当前自编码器的参数和权重；

S7、判断当前自编码器是否收敛，若是则进入步骤S8，否则返回步骤S5；

S8、将同时存在两个模态的图像样本、仅存在第一个模态的图像样本和仅存在第二个模态的图像样本的集合作为有缺失数据的两模态数据集送入当前最新的自编码器，得到有缺失数据的两模态数据集对应的隐表示；

S9、基于对偶映射获取两模态数据集中分别与仅存在第一个模态的图像样本集合对应的隐表示所对应的缺失模态的表示和仅存在第二个模态的图像样本集合对应的隐表示所对应的缺失模态的表示；

S10、将每个图像样本对应的不同模态表示进行拼接并作为其公共表示，对公共表示进行聚类，完成有缺失数据的两模态聚类，即实现模态有缺失数据的图像分类。

2.根据权利要求1所述的模态有缺失数据的图像分类方法，其特征在于，步骤S1中自编码器包括编码器和解码器，编码器包括依次连接的第一全连接层、第一批归一化层、第一激活函数、第二全连接层、第二批归一化层、第二激活函数、第三全连接层、第三批归一化层、第三激活函数、第四全连接层和第四激活函数；第一全连接层的输入维度为输入的模态数据的维度；第一全连接层、第二全连接层和第三全连接层的输出维度均为1024；第一激活函数、第二激活函数和第三激活函数均为ReLU；第四全连接层的输出维度为128，第四激活函数为Softmax；

解码器包括依次连接的第五全连接层、第四批归一化层、第五激活函数、第六全连接层、第五批归一化层、第六激活函数、第七全连接层、第六批归一化层、第七激活函数、第八全连接层、第七批归一化层和第八激活函数；第五全连接层的输入维度为128，第五全连接层、第六全连接层和第七全连接层的输出维度均为1024，第五激活函数、第六激活函数、第七激活函数和第八激活函数均为ReLU；第八全连接层的输出维度为输入的模态数据的维度。

3.根据权利要求1所述的模态有缺失数据的图像分类方法，其特征在于，步骤S2中根据两个模态数据对应的隐表示获取对应的跨模态对比学习损失的具体方法为：

根据公式：

获取跨模态对比学习损失；其中m为同时存在两个模态的图像样本的总数，t表示第t个图像样本；表示互信息，为第t个同时存在两个模态的图像样本中第一个模态数据对应的隐表示，为第t个同时存在两个模态的图像样本中第二个模态数据对应的隐表示；表示信息熵；为熵的平衡参数。

4.根据权利要求1所述的模态有缺失数据的图像分类方法，其特征在于，步骤S2中根据两个模态数据对应的隐表示获取对应的模态内重构损失的具体方法为：

根据公式：

获取模态内重构损失；其中m为同时存在两个模态的图像样本的总数，t表示第t个图像样本；表示第t个图像样本中的第v个模态数据；和分别表示第v个模态数据当前对应的编码器和解码器；为范数。