[发明专利]一种聋人学习说话的电子教学方法

说明书

技术领域

本发明属于学习用具技术领域，具体涉及一种聋人学习说话的电子教学方法。

背景技术

专利CN2057550“频率可变式聋人语音训练助听器”，提出一种适用于聋人进行语音听觉训练的助听器，该助听器的特点是利用聋人对于语音的不同频率分量的不同反应，采用语音带通滤波器、放大器来构成助听器，从而使聋人在不感觉痛苦的情况下听清楚语音，从而达到对聋人进行语音听觉训练的目的。

专利CN2279662“一种适合于室外活动用的聋人语言训练机”提出了一种多功能的适合于室外活动用的聋人语言训练机，其特征在于由话筒和无线发射机组成无线话筒，供老师携带，由无线接收机、后置放大器、七段均衡器、功率放大器和双声道耳机依次连接组成信号接收放大装置，供同学使用。

专利CN1183945“使聋人感知声音的装置”，提出一种利用电子装置以声音的振动形式，以能够使人体皮肤产生感觉的方式作用于人体皮肤，使人通过对皮肤的感觉感知声音的信息。由拾音器、放大器和对人体皮肤的振动传感器所组成，其特征在于：对人体皮肤的振动传感器贴于人体皮肤，并以声音的振动形式，以能够使人体皮肤产生感觉的机械振动方式作用于人体皮肤。

以上技术的原理均是采用模拟电路使聋人感知声音产生的振动，其共同缺点有以下几点：1、教学装置本身没有采用图片、视频显示这些可视化的教学方式，而是需要教学人员的现场示范，可重复性差，也不容易引起学习者的兴趣；2、学习者无法通过“示范说明-学话者发音-纠正发音”这样的互动方式进行自主学习；3、学习过程离不开教学人员的大量干预，例如需要由教学人员反复进行示范和评价发音是否规范并进行纠正；4、在一对多的教学环境下，教学人员不能同时辅导多名学习者。

发明内容

本发明所要解决的技术问题是克服现有技术的不足，提出一种能够以可视化的方式进行教学，能够自动分析学习者发音是否规范，并显示纠正错误的对应示范教学内容，学习过程基本无需教学人员的干预的聋人学习说话电子教学装置。本发明通过以下技术方案实现：

一种聋人学习说话的电子教学方法，在进行电子教学之前，已经在教学装置里预存有教学内容，与教学内容相关的标准发音的特征参数模板库和常见错误发音的特征参数模板库，在进行电子教学的时候，采用如下的步骤：

(1)播放教学内容

(2)通过麦克风和摄像头获取学习者在练习发音时的音频和视频数据以及音频、视频内容的时间同步信息；

(3)对获得的音频数据进行预处理，做离散傅里叶变换，根据频域能量标记出静音帧与非静音帧，对非静音帧提取音频特征参数；

(4)对获得的视频数据采用基于哈尔特征推进级联分类器的快速人脸嘴部检测方法，检测、跟踪视频流中说话人的嘴部运动，提取嘴的有关口型的视觉特征，包括高度、宽度、形状、圆度、下颌的位置、面部肌肉运动；

(5)采用隐马尔可夫模型作为训练识别算法，将提取出的音频特征参数与预存在标准发音的特征参数模板库里对应的特征参数进行比较分类，通过分析声音的频率、音调、音高、音长等语音特征，判断学习者的发音是否正确；

(6)如果判断学习者的发音与标准发音差异较大，则通过将其音频特征及有关口型的视觉特征与常见错误发音的特征参数模板库对比，判断属于哪一类常见错误，用图像、动画、视频内容给出学习者的错误发音方式与标准发音方式的对比。

其中，对非静音帧采用MFCC倒谱系数法进行音频特征提取。

与现有技术相比，本发明的有益效果是：

1.以图片、视频这些可视化的手段进行教学，使学习者在学习时更有兴趣，注意力更加集中；

2.自动对在学习者发音时采集到的声音和视频内容进行分析，找出发音不规范的原因，给出对应的范例视频来纠正发音；

3.学习过程基本为自学，教学人员只需要事后观看学习时的录像来掌握学习进度；

4.教学人员可同时对多名学习人员进行监督；

5.教学内容可通过网络更新。

具体实施方式