[发明专利]基于神经网络的自动语音识别方法、设备及可读存储介质

说明书

本发明涉及一种人工智能，提供一种基于神经网络的自动语音识别方法、装置、电子设备及计算机可读存储介质，其中方法包括：通过ASR识别进程中的声学模型和ngram语言模型共同对待识别的音频进行识别处理，获取至少两个以上的初次识别结果；将所述初次识别结果传输至rescore进程，并通过rescore进程中的gpt语言模型进行评分处理，获取gpt语言模型得分；将所述gpt语言模型得分传输至所述ASR识别进程，并替换所述ASR识别进程中的ngram语言模型得分；对所述ASR识别进程中的所述gpt语言模型得分与所述声学模型得分之和进行排序，并将排序结果中排序最前的识别结果作为最终识别结果。本发明主要目的在于通过采用gpt语言模型，解决数据稀疏性的问题。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种基于神经网络的自动语音识别方法、装置、电子设备及计算机可读存储介质。

背景技术

在传统的语音识别的过程中包括两个模型，分别是声学模型和语言模型；其中，语言模型一般采用ngram语言模型，ngram这种基于元组统计的概率模型，只能抓到词组前后的统计信息，无法学习到更深入的语法、语义信息，再加上这种词频统计的概率计算方法，有参数空间过大问题和数据稀疏严重的问题，尤其在高阶ngram模型中，随着阶数增加，ngram模型和稀疏性会指数级别增加。即使人们提出和很多种办法去努力解决ngram模型本身的问题，例如剪枝和回退，都只是减弱ngram模型的问题，无法从解决ngram语言模型的根本性问题。

目前一种常见的解决方案：保持原有ngram模型不变，在wfst解码之后，生成top n的ARS识别结果的基础上，重新对生成语句的语言模型进行打分，并进行重排序。采用有更多语料的ngram模型，更高阶的ngram模型等等；但常常遇到的问题是采用越复杂语言模型常常会导致更多的识别时延，用简单的语言模型往往不能取得准确的识别效果。

为了解决上述问题，亟需一种新的自动语音识别方案。

发明内容

本发明提供一种基于神经网络的自动语音识别方法、装置、电子设备及计算机可读存储介质，其主要目的在于通过采用gpt语言模型，解决数据稀疏性的问题。

为实现上述目的，本发明提供的基于神经网络的自动语音识别方法，应用于电子设备，所述方法包括：

通过ASR识别进程中的声学模型和ngram语言模型共同对待识别的音频进行识别处理，获取至少两个以上的初次识别结果；其中，每个识别结果包括声学模型得分、ngram语言模型得分及所述声学模型得分与所述ngram语言模型得分之和；

将所述初次识别结果传输至rescore进程，并通过rescore进程中的gpt语言模型进行评分处理，获取gpt语言模型得分；

将所述gpt语言模型得分传输至所述ASR识别进程，并替换所述ASR识别进程中的ngram语言模型得分；

对所述ASR识别进程中的所述gpt语言模型得分与所述声学模型得分之和进行排序，并将排序结果中排序最前的识别结果作为最终识别结果。

可选地，所述通过ASR识别进程中声学模型和ngram语言模型对待识别的音频进行识别处理，获取至少两个以上的初次识别结果，包括如下步骤：

将所述待识别的音频转化为音频特征；

根据所述音频特征获取所述音频特征中每帧的后验概率；

根据所述每帧的后验概率，对ngram语言模型生成的wfst图进行viterbi解码生成lattice图；以及

根据所述lattice图，获取至少两个以上的初次识别结果。

可选地，所述将所述待识别的音频转化为音频特征，包括如下步骤：

对所述待识别音频进行分帧、加窗处理，获取规范音频；以及