[发明专利]空间变换器模块

权利要求书

1.一种由一个或多个计算机实现的图像处理神经网络系统，其中，所述图像处理神经网络系统被配置为接收一个或多个输入图像并且处理所述一个或多个输入图像以从所述一个或多个输入图像生成神经网络输出，所述图像处理神经网络系统包括：

空间变换器模块，其中所述空间变换器模块被配置为执行操作，所述操作包括：

接收从所述一个或多个输入图像取得的输入特征图，

向所述输入特征图应用空间变换，以生成所变换的特征图，包括：

处理所述输入特征图，以生成针对待应用至所述输入特征图的所述空间变换的空间变换参数，以及

根据基于所述输入特征图而生成的所述空间变换参数从所述输入特征图进行采样，以生成所变换的特征图；

将所变换的特征图作为输入提供至所述图像处理神经网络系统的第一部件。

2.根据权利要求1所述的图像处理神经网络系统，其中，所述输入特征图是由所述图像处理神经网络系统的第二部件生成的输出。

3.根据权利要求2所述的图像处理神经网络系统，其中，所述图像处理神经网络系统的所述第二部件是另外的空间变换器模块。

4.根据权利要求3所述的图像处理神经网络系统，其中，与所述空间变换器模块相比，所述另外的空间变换器模块执行不同类型的空间变换。

5.根据权利要求2所述的图像处理神经网络系统，其中，所述图像处理神经网络系统的所述第二部件是神经网络层。

6.根据权利要求1所述的图像处理神经网络系统，其中，所述输入特征图是所述一个或多个输入图像中的一个输入图像。

7.根据权利要求1所述的图像处理神经网络系统，

其中，所述空间变换器模块包括：

本地化子网络，所述本地化子网络包括一个或多个神经网络层，其中，所述本地化子网络被配置为处理所述输入特征图，以根据所述本地化子网络的一组参数的当前值来生成所述空间变换参数；以及

其中，处理所述输入特征图以生成所述空间变换参数包括：使用所述本地化子网络来处理所述输入特征图。

8.根据权利要求1所述的图像处理神经网络系统，其中，根据所述空间变换参数从所述输入特征图进行采样以生成所变换的特征图包括：

使用所述变换参数来生成采样网格，所述采样网格针对所变换的特征图中的多个位置中的每个位置定义应当如何从所述输入特征图中的值取得所述位置的值；以及

根据所述采样网格从所述输入特征图进行采样，以生成所变换的特征图。

9.根据权利要求1所述的图像处理神经网络系统，其中，采样机制是能够微分的。

10.根据权利要求9所述的图像处理神经网络系统，其中，所述空间变换器模块已经在所述图像处理神经网络系统的训练期间被使用反向传播进行了训练。

11.根据权利要求1所述的图像处理神经网络系统，其中，所变换的特征图具有与所述输入特征图相同的尺寸。

12.根据权利要求1所述的图像处理神经网络系统，其中，所变换的特征图具有与所述输入特征图不同的尺寸。

13.一种在图像处理神经网络系统中的方法，包括根据权利要求1至12中的任一项所述的空间变换器模块的相应操作。

14.一种编码有指令的计算机存储介质，所述指令在由一个或多个计算机执行时使所述一个或多个计算机执行根据权利要求1至12中的任一项所述的空间变换器模块的相应操作。