[发明专利]语音识别系统及其方法与词汇建立方法

说明书

本发明提出一种语音识别系统及其方法与词汇建立方法。语音识别方法包括：储存语音识别模型，此语音识别模型具有多个语音单元以及多个基本成分声学模型，其中每一所述语音单元具有至少一时态，每一所述时态对应到基本成分声学模型的至少其中之一；输入第一语音信号与第二语音信号；从分析扩充模块取得母语/非母语词汇的语音单元序列；根据语音识别模型与母语/非母语词汇的语音单元序列，对第一语音信号进行识别并输出识别结果；以及根据语音识别模型以及第二语音信号从基本成分声学模型中选择最佳基本成分声学模型，并根据此最佳基本成分声学模型更新语音单元。

技术领域

本发明是有关于一种可以根据非母语的语音词汇产生语音单元并且使用此语音单元进行识别的语音识别系统及其方法与词汇建立方法。

背景技术

现有的语音识别系统多以识别单一语言为主。在多语言或混合语言的语音识别中，通常需要建立第一语言(例如，中文)以外的第二语言(例如，英文)的语音识别模型，或者建立第一语言的语音单元与第二语言的语音单元之间的对应关系。之后，才可以使用单一语言的语音识别模型进行多语言或混合语言的语音识别。然而，上述情况往往会造成许多问题。

以母语为中文(第一语言)、第二语言为英文的中英双语混合语音识别为例，上述的做法往往需要取得大量的英文语料以进行语音识别模型的训练。由于英文语料通常较容易通过以英文为母语的人所录制而得到，但因为腔调的差异，英文的语料与中文的语料两者在腔调上是不匹配的。当个别训练两者的语音识别模型时，会造成此两个语音识别模型也不相匹配，使得中英双语混合语音识别的识别率不佳，而难以应用。再者，以中文为母语的人所录制的英文语料也不容易搜集与校对，且各个以中文为母语的人对同一英文词汇的发音歧异度也大，故通常也不容易训练出在效能可赶得上中文语音识别的中文腔英文语音识别模型(Chinese-accented-English acoustic-model)。因此，实施多语言或混合语言的语音识别，所付出的资源与努力将远远超出单一语言的识别。

须注意的是，在一个多以母语为沟通的应用环境下，相对于母语，其他语言的使用频率通常是较低的。唯一较广泛使用的是所谓的「非母语词汇」(non-native word)或「外来语」(foreign-word or loan-blends)。随着时间推进，上述的非母语词汇或外来语也会不断地更新。另外，可以注意到的是，这里的使用族群，通常是以母语口音为主。若以前述多语言或混合语言的实施做法，所需要取得的是这些以母语口音为主的其他语言的大量语料。例如，取得中文口音的英文语料。然而，这些语料并不易于取得。

因此，如何提供一个适切的作法，以在不付出大量的资源下，建构可识别非母语词汇的语音识别系统，甚至可提供母语、非母语夹杂的语音识别系统，以让语音识别系统可更为广泛的应用，是本领域技术人员所致力研究的议题之一。

发明内容

本发明提供一种根据非母语的语音词汇产生语音单元并且使用此语音单元进行识别的语音识别系统及其方法与词汇建立方法。

本发明提出一种语音识别系统。此系统包括储存单元以及处理单元。储存单元用以储存语音识别模型。语音识别模型具有多个语音单元以及多个基本成分声学模型，其中每一所述语音单元具有至少一时态，每一所述时态对应到基本成分声学模型的至少其中之一。处理单元用以运行多个模块，此些模块包括：分析扩充模块、输入模块、母语/非母语识别词汇功能模块以及语音识别器。输入模块用以输入第一语音信号。母语/非母语识别词汇功能模块用以从分析扩充模块取得母语/非母语词汇的语音单元序列。语音识别器用以根据语音识别模型与母语/非母语词汇的语音单元序列，对第一语音信号进行识别并输出识别结果。分析扩充模块用以根据语音识别模型以及由输入模块所输入的第二语音信号与对应于此第二语音信号的一词汇，从基本成分声学模型中选择最佳基本成分声学模型，并根据此最佳基本成分声学模型更新语音单元。