[发明专利]神经网络语言模型的训练方法、装置以及语音识别方法

摘要

本发明公开了一种神经网络语言模型的训练方法、装置以及语音识别方法，涉及语音识别技术。为解决现有技术在降低神经网络语言模型计算复杂度时，神经网络语言模型识别正确率降低的问题。提供的技术方案包括：在对神经网络语言模型的参数进行训练的过程中，采用输出层的归一化因子对目标代价函数进行修正，获取修正后的目标代价函数；根据修正后的目标代价函数对神经网络语言模型的参数进行更新，获取神经网络语言模型训练后的目标参数，其中，目标参数使得训练后的神经网络语言模型中归一化因子为常数。该方案可以应用在神经网络语音识别过程中。

主权项

一种神经网络语言模型的训练方法，其特征在于，包括：对待训练的神经网络语言模型的参数进行初始化，获取初始化后的参数；根据给定的训练文本句子和所述初始化后的参数，获取输出层的状态矢量；根据所述输出层的状态矢量和初始化后的参数，获取输出层的归一化因子；根据所述归一化因子确定所述训练文本句子中待识别词语的预测概率；采用所述归一化因子对目标代价函数进行修正，获取修正后的目标代价函数，其中，所述目标代价函数根据所述预测概率获得；根据所述修正后的目标代价函数对所述初始化后的参数进行更新，获取所述待训练的神经网络语言模型训练后的目标参数，其中，目标参数使得训练后的神经网络语言模型中归一化因子为常数。