[发明专利]听障儿童语言训练辅助系统及方法在审
申请号: | 201410719600.3 | 申请日: | 2014-12-01 |
公开(公告)号: | CN104537926A | 公开(公告)日: | 2015-04-22 |
发明(设计)人: | 杨颖;刘强;蔡文怿;高嘉俊;余良驹;陈序建;吴伟迪;荆婧;韩挺 | 申请(专利权)人: | 上海交通大学 |
主分类号: | G09B21/00 | 分类号: | G09B21/00 |
代理公司: | 上海汉声知识产权代理有限公司 31236 | 代理人: | 郭国中 |
地址: | 200240 *** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 儿童 语言 训练 辅助 系统 方法 | ||
1.一种听障儿童语言训练辅助系统,其特征在于,包括:
视频处理模块,用于调用电脑摄像头,以及家长录制或播放教学课程视频,将教学课程视频传送至服务器或从服务器获取教学课程视频;
服务器模块,存储录制的教学课程视频,对无线通信模块发送数据;
无线通信模块,接收来自服务器模块的网站页面信息的数据,获取网站页面信息的数据后,对其进行分析来得到有效数据,传递给信息处理模块,用于控制气息模拟模块的运作和声带振动模拟模块的运作;
信息处理模块,通过多线程设计对无线通信模块产生的通信线程、气息模拟模块产生的气息模拟线程以及声带振动模拟模块产生的声带振动模拟线程进行管理,从而使得各线程同时运行,保障无线通信模块在接收数据之后及时将数据传递给输出模块;
输出模块,首先对GPIO进行配置,通过在选定的两个GPIO口输出PWM波来控制气息模拟模块的运作程度和声带振动模拟模块的运作程度,PWM波的占空比由无线通信模块的处理数据确定;
气息模拟模块,受信息处理模块控制,气息模拟模块进行转动;根据输出模块的控制,产生不同的转速,模拟不同发音时的口腔气流的大小;
声带振动模拟模块,受信息处理模块控制,声带振动模拟模块产生振动;根据输出模块的控制,产生不同的振动强度,模拟不同发音时声带振动的强弱;
语音准确度反馈模块,用于将由麦克风获取的听障儿童发声的音频输出到语音识别接口,接收反馈并转化为拼音,判断正误,产生学习记录,传输给数据记录模块;
数据记录模块,用于所有课程数据、学习记录的存储与处理,家长查看所记录的数据。
2.根据权利要求1所述的听障儿童语言训练辅助系统,其特征在于,所述气息模拟模块采用风扇。
3.根据权利要求1所述的听障儿童语言训练辅助系统,其特征在于,所述声带振动模拟模块采用振子。
4.根据权利要求1所述的听障儿童语言训练辅助系统,其特征在于,所述语音准确度反馈模块包括麦克风和语音识别接口。
5.根据权利要求1所述的听障儿童语言训练辅助系统,其特征在于,所述无线通信模块、信息处理模块、输出模块、气息模拟模块、声带振动模拟模块构成硬件设备。
6.一种听障儿童语言训练辅助方法,其特征在于,其包括以下步骤:
步骤一,家长登录网站,选择语言训练课程;
步骤二,判断语言训练课程是否是录制过的教学视频,如果是录制过的教学视频,则执行步骤四;如果是未录制过的教学视频,则执行步骤三;
步骤三,若该语言训练课程是未录制过的教学视频,则通过视频处理模块进行教学视频的录制,录制完成的教学视频上传至服务器模块;
步骤四,语言训练课程录制完成,进入课程学习页面;课程学习页面左侧为家长录制的教学视频,右侧为摄像头实时捕捉的儿童学习画面;学习页面上还有课程相配套的文字、图片、拼音、发声舌形示意图;点击播放语言训练课程的教学视频;
步骤五,开启硬件设备,硬件设备中的无线通信模块向服务器模块发送指令请求,请求获取网站页面信息的数据;
步骤六,当语言训练课程的教学视频播放时,无线通信模块接收到来自服务器模块的网站学习页面信息的数据,分析得到有效数据,传递给信息处理模块,用于控制气息模拟模块的运作和声带振动模拟模块的运作;
步骤七,硬件设备中的信息处理模块将无线通信模块接收到的数据传递给控制气息模拟模块、声带振动模拟模块,同时控制控制气息模拟模块的运作、声带振动模拟模块的运作;同时传递数据给输出模块,输出模块控制气息模拟模块的运作程度和声带振动模拟模块的运作程度;
步骤八,听障儿童手持硬件设备,感受硬件设备根据视频的内容产生相应的振动和气流,结合网站页面上文字、图片、舌型以及视频中的口型和声音,练习发声;
步骤九,由语音准确度反馈模块捕捉儿童声音,进行语音识别和分析,以拼音形式反馈在学习页面,和正确的发音拼音进行比较,得出准确度,以小星星形式评分反馈;
步骤十,数据记录模块记录儿童学习得分和课程数据。
7.根据权利要求6所述的听障儿童语言训练辅助方法,其特征在于,所述评分的规则为两个字的课程,两字均发音错误,评为零颗小星星;发对部分音节,评为一颗小星星;发对一字,评为二颗小星星;两字均发音正确,评为三颗小星星。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海交通大学;,未经上海交通大学;许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201410719600.3/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种机械式横波演示仪
- 下一篇:一种基于虚拟现实的铁路供电训练系统