[发明专利]基于偏差器官形态行为可视化的口语学习矫正方法

说明书

本发明是一种基于偏差器官形态行为可视化的口语学习矫正方法。通过对学习者发音时的音素、重读、词间停顿和语调与标准音进行对比，计算学习者发音准确度以及发音器官行为与标准行为的偏差，可视化地展示给学习者。主要步骤是S1.采集学习者和标准音的发音信息，对所述采集信号进行预处理，提取特征；S2.构建句子的标准发音器官形态行为库，将标准音的发音特征映射到所述器官形态行为库；S3.计算学习者发音的音素、重读、停顿和语调与标准音的相似度，计算出器官行为的偏差值，可视化的展示给学习者；S4.综合四个指标对学习者的发音评分并反馈给学习者，提升学习效率。

技术领域

本发明是一种基于偏差器官形态行为可视化的口语学习矫正方法，属于语音信号处理与软件工程交叉领域。

背景技术

口语教学有着长期而又广泛的需求，本发明提出的口语学习方法能够对学习者的口语发音质量进行检测，给出发音评分，同时以可视化的方式告诉学习者标准发音以及标准发音器官行为。语言的基本单位是音素，在进一步组成词和句子，本发明基于对音素发音的标准度评估学习者的发音情况，并可视化展示给学习者发错音的因素的标准器官行为。掌握好词间停顿对英语学习至关重要，因此首先要将句子分割成单词的组合，近年来，在语音信号处理领域，关于语音信号中端点检测及判定的研究越来越重要。作为语音识别的前提工作，有效的端点检测方法不仅可以减少数据的存储量和处理时间，而且可以排除无声段的噪声干扰，使语音识别更为准确。本发明基于结合短时能量和短时过零率的端点检测方法来分割句子成单词。口语学习中重读有很多规则，英语是重读因素最为明显的一种语言，本发明提出通过单词的发音时长和短时平均能量对学习者的重读发音进行评分。语调，即说话的腔调，就是一句话里声调高低抑扬轻重的配制和变化，例如英语有五种基本语调：升调、降调、升降调、降升调以及平调。本法明使用DTW算法计算学习者的语调发音和标准音之间的曲线相似度来对学习者发音质量进行评分，并以可视化的方式展示给学习者错误发音对应的标准发音器官行为。

发明内容

本发明提出一种基于偏差器官形态行为可视化的口语学习矫正方法，通过计算学习者对句子的发音信息和标准音做对比，给出学习者的发音评分，如果发音不准确，将定位发音不准确的位置，反馈给学习者标准的发音以及可视化的告诉学习者发音器官动作。具体地，将原始语音信号经过处理得到切分的单词和组成单词的音素的Mel倒频谱系数，计算学习者的音素发音和标准音素发音的Mel倒频谱系数特征的欧几里得距离评估相似度，通过平均短时能量评估学习者发音的重读准确度，通过DTW算法评估学习者的语调发音准确度，通过基于短时能量和过零率的检测方法评估学习者的词间停顿准确度。本发明是一种口语学习方法，其特征在于，包括

S1.采集学习者对学习句子的发音信息以及标准发音信息，对所述采集信号进行预处理，提取特征；

S2. 构建标准发音器官形态行为库，将标准音的特征映射到标准发音器官形态行为库；

S3.将采集的学习者的发音信息和标准音信息进行对比，计算句子的音素、重读、词间停顿和语调与标准音的相似度；若相似度大于阈值，则认为发音准确，若小于阈值，则认为发音不准确，计算不准确发音的器官形态行为与标准行为的偏差，并定位发音错误位置，用可视化的方式展示给学习者正确的发音以及正确发音的器官行为偏差；

S4.根据音素、重读、词间停顿和语调相似度计算学习者对句子发音的综合评分，判断学习者该次句子发音的综合得分。

其中，所述步骤S3包括：

通过计算学习者的原始发音信息的音素和标准音的音素的Mel倒频谱系数的欧几里得距离评估音素发音的准确度，若超过给定阈值，则认为发音准确，该阈值由训练得出。若音素发音不准确，则计算不准确音素发音器官行为与标准器官行为的偏差。

所述步骤S3还包括：