[发明专利]一种聋人学习说话的电子教学方法

摘要

本发明属于学习用具技术领域，涉及一种聋人学习说话的电子教学方法，包括：通过麦克风和摄像头获取学习者在练习发音时的音频和视频数据以及音频、视频内容的时间同步信息；提取音频特征参数；提取嘴的有关口型的视觉特征；将提取出的音频特征参数与预存在标准发音的特征参数模板库里对应的特征参数进行比较分类，判断学习者的发音是否正确；如果差异较大，则通过将其音频特征及有关口型的视觉特征与常见错误发音的特征参数模板库对比，判断属于哪一类常见错误，用图像、动画、视频内容给出学习者的错误发音方式与标准发音方式的对比。本发明能够自动分析学习者发音是否规范，纠正错误，学习过程基本无需教学人员的干预。

主权项

一种聋人学习说话的电子教学方法，在进行教学之前，已经在教学装置里预存有教学内容，与教学内容相关的标准发音的特征参数模板库和常见错误发音的特征参数模板库，在进行电子教学的时候，采用如下的步骤：(1)播放教学内容；(2)通过麦克风和摄像头获取学习者在练习发音时的音频和视频数据以及音频、视频内容的时间同步信息；(3)对获得的音频数据进行预处理，做离散傅里叶变换，根据频域能量标记出静音帧与非静音帧，对非静音帧提取音频特征参数；(4)对获得的视频数据采用基于哈尔特征推进级联分类器的快速人脸嘴部检测方法，检测、跟踪视频流中说话人的嘴部运动，提取嘴的有关口型的视觉特征，包括高度、宽度、形状、圆度、下颌的位置、面部肌肉运动；(5)采用隐马尔可夫模型作为训练识别算法，将提取出的音频特征参数与预存在标准发音的特征参数模板库里对应的特征参数进行比较分类，通过分析声音的频率、音调、音高、音长等语音特征，判断学习者的发音是否正确；(6)如果判断学习者的发音与标准发音差异较大，则通过将其音频特征及有关口型的视觉特征与常见错误发音的特征参数模板库对比，判断属于哪一类常见错误，用图像、动画、视频内容给出学习者的错误发音方式与标准发音方式的对比。