[发明专利]使用以比特值为条件的回归神经网络生成输出示例

说明书

用于使用神经网络生成输出示例的方法、系统和装置，包括编码在计算机存储介质上的计算机程序。方法之一包括，在每个生成时间步长处，使用回归神经网络并根据隐藏状态，处理包括序列中前一生成时间步长处的N比特输出值的第一回归输入，以生成第一分数分布；使用第一分数分布选择N个比特的前一半的值；使用回归神经网络并根据相同的隐藏状态，处理第二回归输入，该第二回归输入包括(i)前一生成时间步长处的N比特输出值和(ii)N个比特的前一半的值，以生成第二分数分布；以及使用第二分数分布选择输出值的N个比特的后一半的值。

背景技术

本说明书涉及使用神经网络生成输出示例。

神经网络是采用非线性单元的一个或多个层来预测接收到的输入的输出的机器学习模型。一些神经网络除了输出层之外，还包括一个或多个隐藏层。每个隐藏层的输出被用作网络中下一层的输入，即下一个隐藏层或输出层。网络的每个层根据相应的参数集的当前值，从接收到的输入生成输出。

一些神经网络是回归神经网络。回归神经网络是接收输入序列并从输入序列生成输出序列的神经网络。特别地，回归神经网络可以使用来自先前时间步长的网络的一些或全部内部状态来计算当前时间步长的输出。

回归神经网络的示例是包括一个或多个LSTM存储器块的长短期记忆(LongShort-Term Memory，LSTM)神经网络。每个LSTM存储器块可以包括一个或多个单元，每个单元包括输入门、遗忘门和输出门，其允许该单元存储该单元的先前状态，例如，用于生成当前激活或要提供给LSTM神经网络的其他组件的状态。

发明内容

本说明书描述了在一个或多个位置的一个或多个计算机上实现为计算机程序的系统，该系统通过在多个生成时间步长的每一个处生成相应的输出值，使用回归神经网络生成输出示例。输出示例中的每个输出值都是N比特值。在每个生成时间步长，系统生成N个比特的前一半的值，然后生成以N个比特的前一半的值为条件的N个比特的后一半的值。例如，系统可以生成输出值的N/2个最高有效位的值，然后以已经生成的最高有效位的值为条件生成输出值的N/2个最低有效位的值。

因此，在一个方面，提供了一种生成输出示例的方法，该输出示例包括在生成时间步长序列的每个生成时间步长处的相应的N比特输出值。该方法可以包括，对于每个生成时间步长，使用回归神经网络并根据回归神经网络的隐藏状态，处理包括序列中前一生成时间步长处的N比特输出值的第一回归输入，以生成在生成时间步长处的输出值中的N个比特的前一半的可能值上的第一分数分布，并且使用该第一分数分布选择输出值的N个比特的前一半的值。该方法可以包括，对于每个生成时间步长，使用回归神经网络并根据相同的隐藏状态，处理第二回归输入，该第二回归输入包括(i)序列中前一生成时间步长处的N比特输出值，以及(ii)N个比特的前一半的值，以生成在生成时间步长处的输出值中N个比特的后一半的可能值上的第二分数分布，并且使用该第二分数分布选择输出值的N个比特的后一半的值。

如稍后进一步描述的，该方法的实现方式适于在具有有限计算能力和存储器带宽的处理单元上实现，诸如在移动设备中找到的。例如，该方法的实现方式使用计算架构，其中处理单元被配置为将生成N比特输出值分为两半，生成N个比特的前一半，然后生成N个比特的后一半。通过以这种方式将输出空间划分为两个较小的输出空间而不是一个大的输出空间，序列矩阵-向量乘积计算的数量可以减小一个数量级，促进该方法的实时实现方式。

可选地，输出值可以在生成时间步长中的每一个处以相应的条件输入为条件。第一回归输入和第二回归输入中的每一个还可以包括生成时间步长的条件输入。在生成时间步长处生成条件输入可以包括使用条件神经网络来处理条件特征。

在实现方式中，处理第一回归输入可以包括处理第一回归输入以生成更新隐藏状态的前一半，然后使用一个或多个第一输出层处理更新隐藏状态的前一半以生成第一分数分布。处理第二回归输入可以包括处理第二回归输入以生成更新隐藏状态的后一半，以及使用一个或多个第二输出层处理更新隐藏状态的后一半以生成第二分数分布。