[发明专利]一种基于RGB-D图像分类问题的对抗度量学习算法

权利要求书

1.一种基于RGB-D图像分类问题的对抗度量学习算法，其特征在于，包括如下步骤：

步骤(1)选取RGB-D图像多视图数据集，并划分训练集和测试集，分别提取数据特征，可以采用传统的手工提取特征或者训练深度网络自动提取特征；

步骤(2)基于数据集获取到的特征，构建特征三元组；

步骤(3)在深度学习框架Pytorch中，构建多视图对抗度量学习模型，其中包含基于特定试图的视图内对抗单元和基于多个视图的视图间对抗单元；

步骤(4)训练多视图对抗度量学习模型，待模型收敛后保存模型参数，学习得到视图内度量距离、视图间度量距离以及视图间转换矩阵，能将原始多个视图特征合成单独一个特征向量表示；

步骤(5)测试模型，利用合成的特征向量进行后续分类/聚类任务。

2.根据权利要求1所述的一种基于RGB-D图像分类问题的对抗度量学习算法，其特征在于，所述步骤(1)特征提取，采用了深度学习的经典VGG模型提取分别提取RGB图像特征和深度图像特征，分别针对RGB和深度视图训练两个单独的VGG模型，对于每个VGG模型都会进行微调以获得最佳性能。模型最后一层全连接层的输出被视为两个不同视图的原始特征，两个视图的特征表示均为4096维。

3.根据权利要求1所述的一种基于RGB-D图像分类问题的对抗度量学习算法，其特征在于，所述步骤(2)构建特征三元组，三元组的被设置为10n，其中n是每个数据集中训练样本的数量。

4.根据权利要求1所述的一种基于RGB-D图像分类问题的对抗度量学习算法，其特征在于，所述步骤(3)在深度学习框架Pytorch中，构建多视图对抗度量学习模型，包含基于特定试图的视图内对抗单元和基于多个视图的视图间对抗单元，视图内对抗单元由视图内生成器和视图内判别器构成，目标是学习视图内度量距离L_A和L_B，视图间对抗单元由视图间生成器和视图间判别器构成，目标是学习视图间度量距离L_AB以及转换矩阵T_A和T_B，其中A和B代表两个视图。

5.根据权利要求4所述的一种基于RGB-D图像分类问题的对抗度量学习算法，其特征在于，所述步骤(4)训练模型，使用单位矩阵或大间隔最近邻居分类算法的输出对转化矩阵/度量距离进行初始化。使用梯度下降的方法求解各项梯度，依次更新L_A、L_B、L_AB、T_A和T_B直到收敛。

6.根据权利要求5所述的一种基于RGB-D图像分类问题的对抗度量学习算法，其特征在于，所述步骤(5)测试模型阶段，利用步骤(4)学习到的度量距离L_A、L_B、L_AB以及转换矩阵T_A和T_B合成的特征向量进行后续分类/聚类任务。具体来说，对于第i个测试样本可以得到其视图内的表示和视图间的表示这三种表示形式将被合并为一个特征向量，即用于表示当前第i个测试样本。