[发明专利]用未标记成对图像训练神经网络以得出对象视角的方法及系统

权利要求书

1.一种用于训练神经网络以在图像被输入到该神经网络时得出在该图像上可见的给定对象的视角的方法，该方法的特征在于包括：

提供编码器神经网络，所述编码器神经网络被配置为接收图像作为输入并得出编码图像，

提供解码器神经网络，所述解码器神经网络被配置为接收具有与由所述编码器神经网络得出的编码图像相同的维度的编码图像，并且被配置为输出解码图像，

提供第一集合的训练图像，其对于每个图像都具有在该图像上可见的、属于给定类别的对象的视角，

提供第二集合的训练图像对，其中所述第二集合的训练图像对中的每对训练图像包括：

-第一图像，属于所述给定类别的对象在所述第一图像上是可见的；

-第二图像，所述第一图像的所述对象在所述第二图像上以与所述第一图像中的视角不同的视角可见，

并且其中，训练所述神经网络包括通过使以下各者之间的差距最小化来适配所述神经网络的参数、所述编码器神经网络的参数和所述解码器神经网络的参数：

-对于所述第一集合的训练图像中的每个训练图像，当该训练图像被输入到所述神经网络时所述神经网络的输出与该训练图像的视角，

-对于所述第二集合的训练图像对中的每对训练图像，所述第二集合的训练图像对中的每对训练图像中的第二图像与发生以下情况时所述解码器神经网络的输出：

○该对训练图像中的第一图像被输入到所述编码器神经网络以获得编码图像，

○该对训练图像中的第二图像被输入到所述神经网络以获得视角，

○所述编码图像以对应于该视角的旋转被旋转以获得旋转编码图像，

○所述旋转编码图像被输入到所述解码器神经网络中以获得所述解码器神经网络的输出。

2.根据权利要求1所述的方法，其特征在于，在图像上可见的对象的视角包括3个值，所述3个值限定出在相对于所述对象定心的参照系中被表达并朝着用于获取所述图像的图像获取装置定向的向量。

3.根据权利要求1或2所述的方法，其特征在于，所述编码图像是具有比所述图像的分辨率低的分辨率的向量。

4.根据权利要求1至3中任一项所述的方法，其特征在于，所述编码图像的维度是三的倍数。

5.根据权利要求1至4中任一项所述的方法，其特征在于，使用以下损失函数来执行对所述神经网络的训练：

其中：

L是损失，

T是所述第一集合的训练图像，

U是所述第二集合的训练图像对，

I是所述第二集合的训练图像中的成对训练图像中的第一图像或者所述第一训练集合中的图像，

I′是成对训练图像中的第二图像，

f_v,f_e和f_d分别是所述神经网络、所述编码器神经网络和所述解码器神经网络，

θ_v、θ_e和θ_d分别是f_v,f_e和f_d的参数，

v是图像I的视角，

R(x)是确定与视角x相关联的旋转的函数，以及

λ是训练的超参数。

6.根据权利要求5所述的方法，其特征在于，使用感知损失来计算差距。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述神经网络和/或所述编码器神经网络和/或所述解码器神经网络是卷积神经网络。

8.一种神经网络，其通过根据权利要求1至7中任一项所述的方法来训练。