[发明专利]全局归一化神经网络

摘要

一种包括在训练数据上训练具有参数的神经网络的方法，其中所述神经网络接收输入状态并且处理所述输入状态以针对决策集中的每个决策生成相应的得分。所述方法包括接收包括训练文本序列、以及针对每个训练文本序列的对应的金决策序列的训练数据。所述方法包括在所述训练数据上训练所述神经网络以确定所述神经网络的参数的训练值。训练所述神经网络包括针对每个训练文本序列：维持针对训练文本序列的候选决策序列波束、通过一次添加一个决策来更新每个候选决策序列、确定与所述金候选决策序列的前缀匹配的金候选决策序列已经从所述波束中退出、以及作为响应，执行梯度下降的迭代以优化目标函数。

主权项

1.一种在训练数据上训练具有参数的神经网络的方法，其中，所述神经网络被配置为接收输入状态并且处理所述输入状态以针对决策集中的每个决策生成相应的得分，并且其中所述方法包括：接收第一训练数据，所述第一训练数据包括多个训练文本序列，并且针对每个训练文本序列，包括对应的金决策序列；以及在所述第一训练数据上训练所述神经网络，以根据所述神经网络的参数的第一值确定所述神经网络的所述参数的训练值，针对所述第一训练数据中的每个训练文本序列，包括：维持针对所述训练文本序列的预定数量的候选预测决策序列的波束；通过使用由所述神经网络根据所述神经网络的所述参数的当前值生成的得分，一次向每个候选预测决策序列添加一个决策来更新所述波束中的每个候选预测决策序列；在每次决策已被添加到每个候选预测决策序列之后，确定与对应于所述训练文本序列的金决策序列的前缀相匹配的金候选预测决策序列已经从所述波束中退出；以及响应于确定所述金候选预测决策序列已经从所述波束中退出，执行梯度下降的迭代以优化取决于所述金候选预测决策序列和当前在所述波束中的所述候选预测序列的目标函数。