[发明专利]使用以比特值为条件的回归神经网络生成输出示例

权利要求书

1.一种生成输出示例的方法，所述输出示例包括在生成时间步长序列的每个生成时间步长处的相应的N比特输出值，所述方法包括对于每个生成时间步长：

使用回归神经网络并根据所述回归神经网络的隐藏状态来处理包括序列中前一生成时间步长处的所述N比特输出值的第一回归输入，以生成在所述生成时间步长处的输出值中的N个比特的前一半的可能值上第一分数分布；

使用所述第一分数分布选择所述输出值的N个比特的前一半的值；

使用所述回归神经网络并根据所述相同的隐藏状态来处理第二回归输入，所述第二回归输入包括(i)序列中前一生成时间步长处的所述N比特输出值，以及(ii)所述N个比特的前一半的值，以生成在所述生成时间步长处的所述输出值中的所述N个比特的后一半的可能值上第二分数分布；以及

使用所述第二分数分布选择所述输出值的N个比特的后一半的值。

2.根据任一前述权利要求所述的方法，其中，所述输出值在生成时间步长中的每一个处以相应的条件输入为条件，并且其中，所述第一回归输入和所述第二回归输入各自还包括用于所述生成时间步长的所述条件输入。

3.根据权利要求2所述的方法，还包括：

通过使用条件神经网络处理条件特征，在所述生成时间步长处生成所述条件输入。

4.根据任一前述权利要求所述的方法，其中所述回归神经网络包括一个或多个第一输出层和一个或多个第二输出层，并且其中处理所述第一回归输入包括：

处理所述第一回归输入以生成更新隐藏状态的前一半；以及

使用所述一个或多个第一输出层处理所述更新隐藏状态的前一半，以生成所述第一分数分布。

5.根据权利要求4所述的方法，其中处理所述第二回归输入包括：

处理所述第二回归输入以生成更新隐藏状态的后一半；以及

使用所述一个或多个第二输出层处理所述更新隐藏状态的后一半，以生成所述第二分数分布。

6.根据权利要求5所述的方法，其中，所述一个或多个第一输出层被配置为：

将第一权重矩阵应用于所述更新隐藏状态的前一半以生成第一投影更新隐藏状态，

将元素方式的非线性激活函数应用于所述第一投影更新隐藏状态以生成第一激活向量，

将第二权重矩阵应用于所述第一激活向量以生成第一logits，以及

对第一logits应用softmax函数以生成所述第一分数分布。

7.根据权利要求6所述的方法，其中，所述一个或多个第二输出层被配置为：

将第三权重矩阵应用于所述更新隐藏状态的后一半以生成第二投影更新隐藏状态，

将所述元素方式的非线性激活函数应用于所述第二投影更新隐藏状态以生成第二激活向量，

将第四权重矩阵应用于所述第二激活向量以生成第二logits，以及

将所述softmax函数应用于所述第二logits以生成所述第二分数分布。

8.根据权利要求5-7中任一项所述的方法，其中所述回归神经网络包括一个或多个门，并且其中处理所述第一回归输入包括：

通过将回归权重矩阵应用于所述隐藏状态来确定每个门的相应回归贡献；以及

对于所述一个或多个门中的每一个：

从所述第一回归输入确定门的第一输入贡献，以及

从至少所述门的回归贡献和所述门的第一输入贡献来确定门的第一门向量；以及

从所述第一门向量和所述隐藏状态生成所述更新隐藏状态的前一半。

9.根据权利要求8所述的方法，其中处理所述第二回归输入包括：

对于所述一个或多个门中的每一个：

从所述第二回归输入确定门的第二输入贡献，以及

从至少所述门的回归贡献和所述门的第二输入贡献来确定门的第二门向量；以及

从所述第二门向量和所述隐藏状态生成所述更新隐藏状态的后一半。