[发明专利]神经网络语言模型的训练方法、装置以及语音识别方法

权利要求书

1.一种神经网络语言模型的训练方法，其特征在于，包括：

对待训练的神经网络语言模型的参数进行初始化，获取初始化后的参数；

根据给定的训练文本句子和所述初始化后的参数，获取输出层的状态矢量；

根据所述输出层的状态矢量和初始化后的参数，获取输出层的归一化因子；

根据所述归一化因子确定所述训练文本句子中待识别词语的预测概率；

采用所述归一化因子对目标代价函数进行修正，获取修正后的目标代价函数，其中，所述目标代价函数根据所述预测概率获得；

根据所述修正后的目标代价函数对所述初始化后的参数进行更新，获取所述待训练的神经网络语言模型训练后的目标参数，其中，目标参数使得训练后的神经网络语言模型中归一化因子为常数。

2.根据权利要求1所述的神经网络语言模型的训练方法，其特征在于，采用所述归一化因子以及如下公式对目标代价函数进行修正，获取修正后的目标代价函数：

minΘJ~(Θ)=J(Θ)+η2·1|T|Σt=1|T|(log(zt))2]]>

其中，为修正后的目标代价函数，Θ为待训练的神经网络语言模型的参数集合；J(Θ)为目标代价函数；为以归一化因子为参数的修正函数，z_t为归一化因子，η为惩罚因子，|T|为总输入个数。