[发明专利]一种基于RGB-D图像分类问题的对抗度量学习算法

说明书

本发明公开了一种基于RGB‑D图像分类问题的对抗度量学习算法，属于计算机应用领域。其中，该算法引入对抗学习的思想从多视图特征的视图内和视图间两个角度学习度量距离，1）对于每个单独的视图，该算法生成了难以与原始正样本区分的难区分负样本。对抗地学习原始样本和合成的难区分负样本的视图内度量距离，目的是更好地区分特定视图；2）为了整合多个视图以挖掘视图共享关系，该算法生成具有挑战性的公共子空间，对抗地学习视图间度量来区分这些生成的具有挑战性的样本；续的分类任务。本发明的有益效果为：在RGB‑D目标识别数据集JHUIT‑50准确率达到了97.2%。同时在各种基准多视图数据集上进行的大量实验证明了本发明有效性，最终模型精度高，适用性强。

技术领域

本发明涉及一种基于RGB-D图像分类问题的对抗度量学习算法，属于计算机应用领域。

背景技术

让机器人拥有和人类一样识别物体的能力一直是机器人视觉的主要目标之一。机器人需要理解和操作一组对象来完成一项任务。物体是场景理解、动作识别和交互预测的关键元素。物体识别是视觉场景描述等高级任务的基础。因此，在图像或视频中识别它们的过程是过去几十年的一个重要研究课题。

RGB-D摄像机的出现为机器人视觉方向的重大飞跃铺平了道路。RGB即是代表红、绿、蓝三种颜色，三通道的组合涵盖了人类视力所能感知的所有颜色，是目前运用最广的颜色系统之一。D代表深度图(Depth)是包含与视点的场景对象的表面的距离有关的信息的图像或图像通道，类似于灰度图像。RGB-D数据集中通常RGB图像和深度图像是配准的，像素点之间具有一对一的对应关系。

尽管RGB-D数据提供了丰富的多视图信息来描述对象(物体)，但是如何有效地表示每种视图并融合这两种视图仍然是一个悬而未决的问题。

同时，有研究表明对抗度量学习对于单视图数据的有效性，但如何实现多源数据的对抗性度量方法仍有有待研究。如何更好地利用视图内和视图间关系，多源度量学习在视图内和视图间的对抗性考虑仍然是一个未解决的问题。

发明内容

本发明针对RGB-D目标识别任务，提出了一种对抗度量学习算法，以解决现有技术存在的上述问题。算法包括如下步骤：

步骤(1)选取多视图数据集，并划分训练集和测试集，分别提取数据特征，可以采用传统的手工提取特征或者训练深度网络自动提取特征。

步骤(2)基于数据集获取到的特征，构建特征三元组。

步骤(3)在深度学习框架Pytorch中，构建多视图对抗度量学习模型，其中包含基于特定试图的视图内对抗单元和基于多个视图的视图间对抗单元；

步骤(4)训练多视图对抗度量学习模型，待模型收敛后保存模型参数，学习得到视图内度量距离、视图间度量距离以及视图间转换矩阵，能将原始多个视图特征合成单独一个特征向量表示；

步骤(5)测试模型，利用合成的特征向量进行后续分类/聚类任务。

在进一步的实施例中，所述步骤(1)特征提取，针对RGB-D目标识别任务，本发明采用了深度学习的经典VGG模型提取分别提取RGB图像特征和深度图像特征，分别针对RGB和深度视图训练两个单独的VGG模型，对于每个VGG模型都会进行微调以获得最佳性能，模型最后一层全连接层的输出被视为两个不同视图的原始特征，两个视图的特征表示均为4096维。

在进一步的实施例中，所述步骤(2)构建特征三元组，三元组的被设置为10n，其中n是每个数据集中训练样本的数量。