[发明专利]声学模型合并方法和设备以及语音识别方法和系统

说明书

技术领域

本发明一般地涉及用于自动语音识别（ASR）的声学模型的合并方法和用于自动语音识别的声学模型的合并设备、以及语音识别方法和语音识别系统，具体地涉及用于合并多个声学模型的方法和设备、以及利用合并后的声学模型的语音识别方法和系统。

背景技术

声学模型是语音识别系统中最重要的部分之一。在语音识别系统中，为了保证识别的准确性，通常需要使用多个声学模型（acoustic model，AM），例如，用于不同的建模单元（例如音素、词、字、声母、韵母等）的不同的AM，用于不同语言的不同的AM，用于不同环境的不同的AM（例如，安静环境下得到的AM、嘈杂环境下得到的AM等）等。

如何减小声学模型的大小，是语音识别技术中一个重要的问题。

为了减小声学模型的大小，通常采用的做法是：通过不同的准则（例如，数据驱动的准则或者基于规则的准则）来共享不同声学模型的参数以达到合并这些声学模型的目的。

其中，用于构成声学模型的建模单元的参数包括：均值、方差、高斯混合（mixture）、状态、隐式马尔可夫模型（HMM）等；且在用于构成声学模型的建模单元的参数中，高斯混合包括方差，状态包括一个或多个高斯混合，隐式马尔科夫模型包括一 个或多个状态。并且，音素（可以包括例如单音素、双音素、三音素等）的模型可以用隐式马尔科夫模型表示（例如，每个音素可以由三状态隐式马尔可夫模型表示），由此，语言中的词的实际发音可以被表示为隐式马尔可夫模型序列。这些参数属于声学模型的不同类别的参数。这些不同类别的参数都能够作为可共享的参数，例如，共享的方差，共享的高斯混合，共享的状态，共享的隐式马尔可夫模型或音素等。

下面将具体地例举几种已知的减小声学模型的大小的方法。

一种方法是基于距离的声学模型合并方法。在该方法中，不同声学模型中的其距离较小的两个高斯混合或状态将被合并，以由此减小声学模型的大小。

还提出了一种基于决策树的声学模型合并方法，这是一种基于数据驱动的方法，是已知的并且常用的，并且可被称为捆绑（tied）高斯混合或捆绑状态方法。决策树代表不同模型状态或音素上下文（context）中的HMM参数之间的等价关系。决策树的性能高度依赖于数据的多少和数据分布。具体地，例如，需要待合并的声学模型的数据量是相当的，即，需要保持这些声学模型的数据量之间的平衡。例如，对于多个类似的音素上下文，可能会因为训练数据不足而导致这些音素上下文中的每一个都不能够准确地训练。因此，为了建模，可以使它们成组或将它们捆绑起来。经过上述的成组或捆绑操作之后，模型中的独立参数的数目减少。

上述这些方法虽然能够减少声学模型的大小，但是存在着例如如下这样的问题。

关于上述基于距离的声学模型合并方法，该方法没有考虑不同语言中的不同音素的重要性。例如，在每一种语言中，某个音素出现的概率很高，此音素在这种语言中的重要性就比较高，或者某个音素的发音变化比较多，此音素的重要性就比较高。相同音素在不同语言中的重要程度也不同。例如，日语中的“l”相当 于汉语中的“l”和“r”，因此，相对而言，日语中的“l”比汉语中的“l”更重要。再例如，汉语中的“i”具有三个音位变体，因此，汉语中的“i”可能比其他语言中的“i”更重要。又例如，对于难以区分“z”、“c”、“s”和“zh”、“ch”、“sh”的中国某些地区的方言来说，“h”及其所处的位置可能比其他语言中的“h”及其所处的位置更重要。

关于上述基于决策树的声学模型合并方法，被选择成组或捆绑起来的高斯混合或状态组分是来自两个不同的语音类的。决策树的性能高度地依赖于训练数据的多少和训练数据的分布。而且，该方法也没有考虑不同语言中的不同音素的重要性。

总而言之，上面提到的这些传统方法主要具有如下两个问题：

1）第一个问题是难以控制训练数据的多少和训练数据的分布；

2）第二个问题在于，由于没有考虑音素的重要性，因此，当重要的状态被其他状态替换（这里，声学模型的合并通过共享状态实现）时，声学模型的性能会下降。