[发明专利]一种三维多视图共变表征学习方法及三维物体识别方法

说明书

本发明公开了一种三维多视图共变表征学习方法及三维物体识别方法。本发明通过解码来自多个二维视图的三维变换来学习多视图共变表征的方法，当对三维物体施加变换时，通过固定视点观察三维对象的二维投影视图将随之等变。本发明利用三维物体及其二维投影视图的等变性质，在变换前与变换后的三维模型的多个视图中解码三维变换，来加强三维模型的表征学习；通过从原始的三维模型的多个视图，以及经过变换后的三维模型的多个视图的融合特征表示中估计三维变换，即使在只有少量的带有标签的数据的情况下，本发明也可以学习到三维模型的特征表示。

技术领域

本发明属于自监督学习领域，涉及一种基于自监督学习的三维多视图共变表征学习的方法。

背景技术

三维物体表征学习在诸如三维物体识别，检索等应用中变得越来越重要。基于卷积神经网络(CNN)的方法的最新进展表明了它们在三维物体识别和检索中的成功。其中，一类重要的方法是基于视图的方法，这类方法将三维物体投影到多个视图中，并通过将这些视图的特征融合到下游任务中来学习三维物体的特征表示。现有方法中多视图的特征学习大多是在监督的情况下进行的，依赖于大量的标记样本，这带来了昂贵的标记成本。因此，需要通过自监督学习来探索无标签数据，这时便能够以无监督或(半)监督方式训练多视图特征表示，从而减轻对标签的依赖。

目前已经有许多现有的方法探索自监督学习。在自监督学习中，通过设计不同的前置任务，我们便可以在仅有未标记的数据的情况下便可以学习特征表示。这些前置任务可以归纳为四类：基于生成，基于上下文，基于自由语义标签和基于交叉模式。其中，基于上下文的前置任务中包括从图像的变换中学习特征表示的方法，因此与共变表征学习紧密相关。

近年来，许多方法通过学习“变换共变表征”(Transformation EquivariantRepresentations，TERs)来进一步提高无监督特征学习的质量。在TER学习中，通常假定在数据上施加变换会引起数据特征空间的共变，因此能够从变换前的和变换后的数据的特征表示中重构施加在数据上的变换，以此来学习数据的特征表示。“变换共变表征”学习的思想首次出现在Hinton的“变换胶囊网络”中。在此之后，许多关于“变换共变表征”学习的方法被提出。但是，这些模型仅限于离散变换，并且需要以全监督方式对其进行训练，这限制了他们学习基于连续变换的“共变表征”的能力。为了推广到更通用的变换，Zhang等人提出了通过自动编码变换(AET)的方式学习无监督的特征表示。AET首先随机地对图像施加变换，然后从原始图像和变换后图像的特征表示中重建这些变换来训练自动编码器网络。然而，这些方法关注在单一模态的数据上，例如图片或者三维点云。

发明内容

针对上述问题和相关方法的缺陷，本发明提出了一种通过解码来自多个二维视图的三维变换来学习多视图共变表征的方法。当对三维物体施加变换时，通过固定视点观察三维对象的二维投影视图将随之等变。与以前的工作不同的是，这些工作从原始的单张图像或点云中解码二维或者三维变换，本发明利用三维物体及其二维投影视图的等变性质。本发明在变换前与变换后的三维模型的多个视图中解码三维变换，来加强三维模型的表征学习。通过从原始的三维模型(即三维物体的模型)的多个视图，以及经过变换后的三维模型的多个视图的融合特征表示中估计三维变换，即使在只有少量的带有标签的数据的情况下，本发明也可以学习到三维模型的特征表示。

本发明的技术方案为：

一种三维多视图共变表征学习方法，其步骤包括：

1)选取一基于多视图的深度神经网络，该深度神经网络的损失函数为l_task；将损失函数添加到该深度神经网络中，表示估计的变换与真实的变换t的均方误差；