[发明专利]一种基于孪生条件对抗网络的跨域多视目标识别方法

说明书

本发明公开了一种基于孪生条件对抗网络的跨域多视目标识别方法，包括：将孪生网络形式的网络结构作为特征提取器用于提取原域和目标域样本的特征；构建域鉴别器用于对齐原域和目标域样本特征，采用原域样本特征训练分类器，使对齐后的原域和目标域样本特征在类层次上具有区分性；将对齐后的原域和目标域样本特征均输入到分类器中，分别获取输出结果，再将输出结果和对应的样本特征经过非线性映射后作为域鉴别器的输入；结合分类器和域鉴别器的分类损失作为网络损失，利用反向传播训练特征提取器，将目标域的分类结果也作为条件对抗网络的输入；利用训练好的特征提取器，提取目标域样本的特征，进行跨域的多视目标识别，提升了识别精度。

技术领域

本发明涉及多视目标识别领域，尤其涉及一种基于孪生条件对抗网络的跨域多视目标识别方法。

背景技术

随着技术的发展，多视目标的识别任务受到了越来越多的关注^[1]，也有了越来越多的突破^[2]。但是三维模型的相关数据库还比较少，同时包含的三维模型数量量级比较低。例如比较有名的两个数据库：ModelNet40^[3]，ShapeNetCore 55^[4]，虽然他们中的三维模型已经涉及生活中普遍存在的类别，也有很多研究者借助其去训练和验证自己提出的算法。但是他们自身包含三维物体的数量还是很有限的，对算法的研究和进一步提升有很大制约。同时相比图像数据集，例如ImageNet数据集百万量级以上，这个数量更是相距甚远。

多视目标识别领域目前一种比较主流的方法，是利用相机去获取三维模型多个视角的视图集作为多视目标的表示，然后设计算法提取视图特征并进行融合，取得了出色的成果。比如GVCNN^[5]、MVCNN^[6]就是其中比较具有代表性的算法。

在跨域学习领域中，目前由于对抗网络的提出，也涌现了越来越多优秀的方法，但是简单的对抗网络在复杂的数据样本中，很容易造成负迁移效果，问题亟待解决，比如JAN^[7]。

目前针对于跨域的多视目标识别的问题上，研究的成果还比较少，面临的挑战主要有三个方面：

1、如何提取不同域(图像和三维模型)的具有可识别的域不变性的特征；

2、如何捕捉不同域数据的多模态结构；

3、如何在类层次上使得不同类之间的特征具有可鉴别力。

发明内容

本发明提供了一种基于孪生条件对抗网络的跨域多视目标识别方法，本方法根据新的网路结构可以很好的捕捉不同数据域的多模态结构，应对复杂数据样本的状况，可提取具有鉴别力的特征，从而达到提升跨域多视目标识别精度的目的，详见下文描述：

一种基于孪生条件对抗网络的跨域多视目标识别方法，所述方法包括以下步骤：

将孪生网络形式的网络结构作为特征提取器用于提取原域和目标域样本的特征；

构建域鉴别器用于对齐原域和目标域样本特征，采用原域样本特征训练分类器，使对齐后的原域和目标域样本特征在类层次上具有区分性；

将对齐后的原域和目标域样本特征均输入到分类器中，分别获取输出结果，再将输出结果和对应的样本特征经过非线性映射后作为域鉴别器的输入；

结合分类器和域鉴别器的分类损失作为网络损失，利用反向传播训练特征提取器，将目标域的分类结果也作为条件对抗网络的输入；

利用训练好的特征提取器，提取目标域样本的特征，进行跨域的多视目标识别。

其中，所述非线性映射具体为：

通过两个张量进行矩阵乘法去模拟一个协方差的效果，进而捕捉数据分布中的多模态结构。