[发明专利]神经网络层权重的连续参数化

说明书

用于更有效且准确地生成神经网络输出的方法、系统和设备，例如，用于对图像或音频数据进行分类。在一个方面，一种方法包括使用包括多个神经网络层的神经网络来处理网络输入以生成网络输出。所述神经网络层中的一个或多个是条件神经网络层。使用条件神经网络层来处理层输入以生成层输出包括获得所述条件神经网络层的一个或多个决策参数的值。所述神经网络处理所述层输入和所述条件神经网络层的所述决策参数，以从连续的可能潜在参数值的集合来确定所述条件神经网络层的一个或多个潜在参数的值。所述潜在参数的值指定条件层权重的值。

背景技术

本说明书涉及使用机器学习模型处理数据。

机器学习模型接收输入，并且基于接收的输入生成输出，例如预测输出。一些机器学习模型是参数模型，并且基于接收的输入和模型的参数值生成输出。

一些机器学习模型是深层模型，其采用多层模型来生成针对接收的输入的输出。例如，深层神经网络是深层机器学习模型，其包括输出层和一个或多个隐藏层，每一隐藏层对接收的输入应用非线性变换以生成输出。

发明内容

本说明书描述一种包括一个或多个条件神经网络层的神经网络系统，所述系统被实现为在一个或多个位置的一个或多个计算机上的计算机程序。

根据第一方面，提供一种由数据处理设备实现的方法。所述方法包括使用包括多个神经网络层的神经网络来处理网络输入以生成网络输出。每一神经网络层被配置成根据多个层权重的相应值来处理相应的层输入以生成相应的层输出。所述神经网络层中的一个或多个是条件神经网络层。

使用条件神经网络层来处理层输入以生成层输出包括获得所述条件神经网络层的一个或多个决策参数的值。所述神经网络处理所述层输入和所述条件神经网络层的所述决策参数，以从可能潜在参数值的连续集合来确定所述条件神经网络层的一个或多个潜在参数的值。所述潜在参数的值指定条件层权重的值。神经网络从所述潜在参数的值来确定条件层权重的值，并根据所述条件层权重的值来处理层输入以生成层输出。

在一些实施方式中，处理层输入和所述条件神经网络层的决策参数以从连续的可能潜在参数值的集合来确定所述条件神经网络层的所述潜在参数的值包括应用可微映射，所述可微映射是所述层输入和决策参数到所述条件神经网络的所述潜在参数的值的映射。

在一些实施方式中，应用所述可微映射包括确定所述层输入和所述条件神经网络层的所述决策参数之间的内积，并且通过sigmoid函数来处理所述内积。

在一些情况下，神经网络将条件神经网络层的潜在参数的值确定为可微映射的输出，例如sigmoid函数的输出。

在一些情况下，神经网络从可微映射的输出(例如，sigmoid函数的输出)以及神经网络中前一条件神经网络层的潜在参数的值来确定所述条件神经网络层的潜在参数的值。前一条件神经网络层是在神经网络的神经网络层的排序中在所述条件神经网络层之前的条件神经网络层。在此情况下，潜在参数的值可以被确定为可微映射的输出和前一条件神经网络层的潜在参数的值的(加权)线性组合。前一条件神经网络层可以直接在所述条件神经网络层之前，并且可以提供层输入。

在一些实施方式中，所述连续的可能潜在参数值的集合是0和1之间的区间。

在一些实施方式中，条件神经网络层的潜在参数将条件层权重参数化(例如，作为由在训练期间确定的多个节点定义的B样条)。神经网络可以根据所述潜在参数对所述条件层权重的所述参数化，从所述潜在参数的所述值确定所述条件层权重的值。

在一些实施方式中，条件神经网络层的潜在参数将所述条件层权重参数化为B样条，或者参数化为被定义为多个B样条总和的超曲面。潜在参数可以定义沿B样条的位置或超曲面上的位置。

在一些实施方式中，每一B样条由多个节点定义，并且定义所述B样条的节点的值是在训练期间确定的。