[发明专利]神经网络层权重的连续参数化

权利要求书

1.一种由数据处理设备实现的方法，所述方法包括：

使用包括多个神经网络层的神经网络来处理网络输入以生成网络输出，其中，每一神经网络层被配置成根据多个层权重的相应值来处理相应层输入以生成相应层输出，其中，所述神经网络层中的一个或多个是条件神经网络层，并且其中，使用条件神经网络层来处理层输入以生成层输出包括：

获得所述条件神经网络层的一个或多个决策参数的值；

处理(i)所述层输入、以及(ii)所述条件神经网络层的所述决策参数，以从连续的可能潜在参数值的集合确定所述条件神经网络层的一个或多个潜在参数的值，其中，所述潜在参数的值指定所述条件层权重的值；

从所述潜在参数的值确定所述条件层权重的值；以及

根据所述条件层权重的值来处理所述层输入以生成所述层输出。

2.根据权利要求1所述的方法，其中，处理(i)所述层输入、以及(ii)所述条件神经网络层的所述决策参数，以从连续的可能潜在参数值的集合确定所述条件神经网络层的所述潜在参数的值包括应用可微映射，所述可微映射是所述层输入和决策参数到所述条件神经网络的所述潜在参数的值的映射。

3.根据权利要求2所述的方法，其中，应用所述可微映射包括：

确定所述层输入和所述条件神经网络层的所述决策参数之间的内积；以及

通过sigmoid函数来处理所述内积。

4.根据权利要求2至3中的任一项所述的方法，进一步包括：

从(i)所述可微映射的输出、以及(ii)在所述神经网络的所述神经网络层的排序中在所述条件神经网络层之前的所述神经网络中的前一条件神经网络层的潜在参数的值，确定所述条件神经网络层的所述潜在参数的值。

5.根据前述权利要求中的任一项所述的方法，其中，所述连续的可能潜在参数值的集合是0和1之间的区间。

6.根据前述权利要求中的任一项所述的方法，其中，所述条件神经网络层的所述潜在参数将所述条件层权重参数化，并且其中，从所述潜在参数的值确定所述条件层权重的值包括：

根据所述潜在参数对所述条件层权重的参数化，从所述潜在参数的值确定所述条件层权重的值。

7.根据权利要求6所述的方法，其中，所述条件神经网络层的所述潜在参数将所述条件层权重参数化为B样条，或者参数化为被定义为多个B样条总和的超曲面。

8.根据权利要求7所述的方法，其中，每一B样条由多个节点定义，并且定义所述B样条的所述节点的值是在训练期间确定的。

9.根据权利要求1至5中的任一项所述的方法，其中：

所述条件层权重包括多个卷积滤波器的权重；

所述条件神经网络层的所述潜在参数将所述条件神经网络层的多个嵌套潜在参数参数化；

所述条件神经网络层的每一嵌套潜在参数将对应卷积滤波器的权重参数化；以及

从所述潜在参数的值确定所述条件层权重的值包括：

根据所述潜在参数对所述嵌套潜在参数的参数化，从所述潜在参数的值确定所述嵌套潜在参数的值；以及

对于每一卷积滤波器，根据对应嵌套潜在变量对所述卷积滤波器的权重的参数化，从与所述卷积滤波器对应的所述嵌套潜在变量的值确定所述卷积滤波器的权重的值。

10.根据前述权利要求中的任一项所述的方法，其中，所述条件神经网络层的潜在参数的数目小于所述条件层权重的维度。

11.根据前述权利要求中的任一项所述的方法，其中，获得所述条件神经网络层的所述决策参数的值包括：

获得在训练所述神经网络时确定的所述条件神经网络层的所述决策参数的值。