[发明专利]语音识别系统及方法

说明书

本发明公开一种语音识别系统，包括：词格生成模块，配置为根据待识别语句确定相应的待识别词格；双向LSTM编码器，配置为按照所述待识别词格的正向拓扑顺序确定每一个词语的前向隐藏状态，按照待识别词格的逆向拓扑顺序确定每一个词语的后向隐藏状态，并基于每一个词语的成对的前向隐藏状态和后向隐藏状态确定对应于每个词语的上下文表示信息；单向LSTM解码器，配置为基于双向LSTM编码器的最后时刻的隐藏状态进行初始化，并根据初始化之后的单向LSTM解码器的隐藏状态和双向LSTM编码器的隐藏状态确定概率分布。本发明的语音识别系统可以以端到端的方式从单词词格中搜索最佳路径，从而解决了搜索空间有限以及训练与评估之间不一致的问题。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种语音识别系统及方法。

背景技术

近年来，从个人助理到智能扬声器，基于自动语音识别的应用取得了巨大的进展。这些应用程序的质量在很大程度上依赖于基础语音识别系统产生的1-best假设的准确性。一个自动语音识别系统通常由三个组件组成从而识别语音信号：声学模型，发音和语言模型。系统的性能可能受很多因素的影响，例如多说话者的识别，训练语料库的缺乏或存在环境噪音。因此，1-best假设常常含有识别错误。

为了解决这个问题，两趟解码策略被广泛采用来提高识别的准确性。其中，第一趟的模型通过输出多个假设来展示其搜索空间的一部分，这些假设可以用词格的紧凑形式表示。随后，在第二趟解码中，使用更复杂的模型进行n-best重打分或词格重打分。

在n-best重排序方法中，语音识别系统从生成的词格计算出n条最佳路径，并形成一个句子列表用以重排序。目前最流行的n-best重排序模型是循环神经网络语言模型。其中，基于长短时记忆的循环神经网络语言模型由于解决了梯度消失问题而得到了广泛的应用。神经网络语言模型计算给定的n-best列表中每个句子的分数。然后，这些语言模型分数与附加到每个假设的语音识别分数进行插值，从而对n个最佳假设进行重排序。

在词格重排序方法中，一个预先训练的语言模型，通过前向-后向算法对词格进行解码。除了提高语音识别性能之外，重排序词格比重排序n-best列表速度快很多。

此外，n-best列表只包含词格中所有可能假设的一小部分，这个问题可以被表述为有限搜索空间问题。对于n-best重打分中出现的问题，一个可行的解决方案是增加句子列表的大小。然而，即使对一个较大的n，n-best列表也只能覆盖整个词格中相对小的一部分，因为大多数假设仅在几个单词位置上有所不同。而且，时间开销随着n的增加而增加，这对于实时应用中是不利的，实际使用中，n设置为50到1000。

此外，神经网络语言模型是以预测下一个单词的目标来训练的，不适合在n-best列表或词格中寻找最佳路径的任务。例如，在训练中模型仅见到正面的句例，从而在评估中很难区分不同的相似的假设。

发明内容

本发明实施例提供一种语音识别系统及方法，用于至少解决上述技术问题之一。

第一方面，本发明实施例提供一种语音识别系统，包括：

词格生成模块，配置为根据待识别语句确定相应的待识别词格；

双向LSTM编码器，配置为按照所述待识别词格的正向拓扑顺序确定每一个词语的前向隐藏状态，按照所述待识别词格的逆向拓扑顺序确定每一个词语的后向隐藏状态，并基于每一个词语的成对的前向隐藏状态和后向隐藏状态确定对应于每个词语的上下文表示信息；

单向LSTM解码器，配置为基于所述双向LSTM编码器的最后时刻的隐藏状态进行初始化，并根据初始化之后的单向LSTM解码器的隐藏状态和所述双向LSTM编码器的隐藏状态确定概率分布。

第二方面，本发明实施例提供一种语音识别方法，应用于语音识别系统，所述语音识别系统包括词格生成模块、双向LSTM编码器和单向LSTM解码器，所述方法包括：