[发明专利]一种错误自感知的声调发音学习方法和系统

说明书

技术领域

本发明涉及计算机语音信号处理领域，尤其涉及在计算机辅助的口语语 言学习中，通过改进的反馈机制实现错误自感知的声调发音辅助学习的方法 和系统。

背景技术

声调是有调语言(如汉语和泰语)的重要组成部分，具有辨词表意和传 达情感的作用。如果声调发音不准，那么会导致语言交流的困难。因此，声 调通常是衡量口语语言能力的重要指标。对于非母语学习者来说，声调发音 是有调语言的口语学习中的最大障碍之一。

计算机辅助的口语学习为语言学习提供了一个有效的途径，并且现在已 被越来越多的学习者所接受。计算机辅助的口语学习最重要的一个特征就是 交互能力，即能够为学习者提供有价值的反馈信息，包括发音评价和发音指 导。

已公开的专利文献，如公开号为CN101383103和CN1815522的专利等， 都涉及了对声调发音进行评估和指导的方法，但这类方法对声调发音的指导 方式主要是首先总结声调发音规则，然后根据声调发音错误给出确定的改进 建议。这种预先设定好的指导建议有三个局限性：一、指导建议是抽象的， 不同学习者对建议的理解不同；二、声调主要由声带振动频率产生，难以主 观直接控制；三、建议的普适性和具体性(针对不同的学习者和学习内容) 是矛盾的，因此学习者从指导建议中得到的帮助非常有限。除了发音指导建 议之外，这些系统也能提供标准声调发音，但对这种发音对用户来说可能是 陌生的，有时和用户的声音相差甚远，用户难以准确模仿。

已公开专利CN101315733中涉及了声调的识别和后验概率计算。为了 进行声调识别，它在语音识别系统基础上进行语音数据的声韵母切分和限制 声韵母边界的声调的识别；根据切分和限制边界识别的结果计算声调后验概 率。这种方法的局限性就是：一、声调识别和后验概率计算严重依赖于声韵 母边界，如果学习者发音不准，语音识别得到的声韵母边界就不可靠，这对 于非母语学习者尤其显著；二、对于多音节连续语音的声调发音学习来说， 声韵母边界的准确确定比较困难，尤其是自然口语的声调发音学习。

已公开的涉及声调发音学习的现有技术，反馈方式单一，指导信息抽象， 还有如下不足：一、难以支持对连续语音的声调进行准确评分，这是一项重 要的功能缺失；二、对于非母语学习者来说，来自计算机的错误提示和改进 建议是教条的，难以提供感性认识，会导致对建议的理解偏差，而对于改进 没有量化感觉。

现有的声调发音学习系统所能提供的反馈信息是抽象的，不丰富的，难 以错误自感知的。对学习者来说，标准声调的发音示例是陌生的，难以和其 实际发音进行对比来发现声调错误，并且也是难以模仿的。在声调曲线绘制 方面，标准4声调曲线过于简单，携带的指导信息有限，难以反映实际声调 发音质量；而绘制实际声调的基频轨迹又过于粗糙、复杂，学习者难以发现 确切的发音错误和指导。现有声调发音学习系统对学习者来说难以启发式地 诱导用户进行学习，可能导致学习者一味模仿标准的发音而无法从与该系统 的互动中在感性上得到准确、直观、丰富的指导信息，其性能是不完善的。 因此，开发一种具有立体的全方位的错误反馈能力的声调发音学习方法和系 统是非常必要的，可以提供形象、直观、娱乐的反馈信息，具有错误自感知 能力。

发明内容

本发明要解决的技术问题是：提供一种具有错误自感知功能的声调发音 学习方法和系统，具有综合的、立体的学习反馈机制，能为学习者提供准确、 形象、直观、娱乐的反馈信息，使学习者更容易发现自己声调发音上的问题， 帮助学习者学习语音声调，提高学习者声调发音的学习效率。通过声音和图 像两种方式来反馈学习者的声调发音质量，得到的反馈语音和现有技术相比 更贴合学习者的语音，绘制的声调曲线更形象直观地反映错误程度，发音评 价得分更准确，给学习者一个更有利于其学习改进的发音参考，使得学习者 可以明确感知自己的声调发音错误和正确的声调发音，从而启发式地引导学 习者有目标地校正自己的声调发音。

本发明的技术方案是：一种错误自感知的声调发音学习方法，包括如下 步骤：

步骤S1：首先建立标准发音语音库，训练声调模型和音素模型，得到 标准上下文相关的三元声调模型和语谱音素模型；

步骤S2：从学习者的语音中提取声学特征，包括语音频谱特征和声调 特征，并对声调特征进行后处理；