[发明专利]使用比特块生成输出示例

说明书

用于使用神经网络生成输出示例的方法、系统和装置，包括编码在计算机存储介质上的计算机程序。该方法中的一种包括接收生成特定类型的输出示例的请求，访问依赖性数据，并且在多个生成时间步骤中的每一个生成时间步骤处，通过以下内容来生成输出示例：识别对于生成时间步骤的一个或多个当前块，其中，每个当前块是其中对于该块的依赖性中识别的所有其他块中的比特值已经被生成的块；以及对于每个当前块，以在对于当前块的依赖性中识别的其他块中已经生成的比特值为条件，生成当前块中的比特值。

背景技术

本说明书涉及使用神经网络生成输出示例。

神经网络是采用一层或多层非线性单元来预测对于所接收输入的输出的机器学习模型。一些神经网络除了输出层之外还包括一个或多个隐藏层(hidden layer)。每个隐藏层的输出被用作到网络中下一层(即下一隐藏层或下一输出层)的输入。网络的每一层根据相应参数集的当前值从所接收输入中生成输出。

一些神经网络是递归神经网络。递归神经网络是接收输入序列并根据输入序列生成输出序列的神经网络。具体地，递归神经网络可以在计算当前时间步骤(time step)的输出时使用来自先前时间步骤的网络的一些或所有内部状态。

递归神经网络的示例是包括一个或多个LSTM(Long Short-Term Memory，长短期记忆)记忆块的长短期记忆(LSTM)神经网络。每个LSTM记忆块可以包括一个或多个单元，其中每个单元包括允许该单元存储该单元的先前状态的输入门、遗忘门和输出门，例如，用于生成电流激活或被提供给LSTM神经网络的其他组件。

发明内容

本说明书描述了在一个或多个位置的一个或多个计算机上被实施为计算机程序的系统如何生成，例如以上下文输入为条件的输出示例。

本说明书使用术语“被配置为”来连接系统和计算机程序组件。对于要被配置为执行特定操作或动作的一个或多个计算机的系统，意味着该系统已经在其上安装了软件、固件、硬件或它们的组合，这些软件、固件、硬件或它们的组合在操作中使得系统执行操作或动作。对于被配置为执行特定操作或动作的一个或多个计算机程序，意味着该一个或多个程序包括指令，当由数据处理装置执行该指令时，使得该装置执行操作或动作。

可以实施本说明书中描述的主题的特定实施例，以便实现以下优点中的一个或多个。

通过逐比特块(bit block by bit block)生成输出示例，可以更快地生成高质量的输出示例。具体地，如本说明书中描述的，通过降低对于输出示例中比特块的依赖性(dependency)要求，可以实现附加的提速，而输出示例的质量没有太大下降。因为如本说明书中描述的，降低要求以利用输出示例的结构，所以依赖性的降低不会在任何显著程度上对生成的输出示例的质量生成不利影响。

也就是说，通过利用本说明书中描述的依赖性数据，而不是要求给定输出样本中的比特依赖于所有先前生成的输出样本上的比特，与自回归地生成输出示例的传统系统相比，所描述的系统可以在更少的推理步骤(在本说明书中称为“生成时间步骤”)中生成输出示例，同时生成与传统系统质量相当的输出示例。

此外，比特块的生成可以并行化，导致生成输出示例所需的时间显著减少。也就是说，在采用并行化的实施例中，生成输出示例所需的时间进一步减少，因为除了需要更少的推理步骤之外，一些推理步骤是并行执行的。

例如，使用本说明书中描述的技术，可以有效且快速地生成作为输入文本片段的话语的语音波形。

本说明书中描述的主题的一个或多个实施例的细节在附图和以下描述中阐述。根据说明书、附图和权利要求书，本主题的其他特征、方面和优点将变得显而易见。

附图说明

图1示出了示例神经网络系统。

图2示出了两个示例依赖性。

图3示出了另一示例依赖性。