[发明专利]听障生融合教育课堂辅助系统及装置

说明书

本发明涉及听障生融合教育课堂辅助系统及装置，包括面部运动数据采集模块、视频识别处理模块、语音数据采集模块、语音识别模块、同步处理模块、数据传输模块、显示模块、资源存储模块、资源获取模块、数据播放模块；本发明提供具有音、视频识别系统，同时加入资源存储模块、资源获取模块，能够辅助听障生在课堂内实时接收教师授课内容，同时也可适用于课后复习视频课件，是听障生融合教育的课堂辅助系统。

技术领域

本发明涉及听障生融合教育课堂辅助系统及装置。

背景技术

我国听力障碍学生（听力障碍学生下文简称听障生）人数众多。由于人类的语言认知过程是一个人多通道的感知过程，除声音信息通道外，唇动视觉信息可以作为语音理解源。对于听障儿童来讲唇动视觉即唇读是最主要的语音理解源，因此听障生主要通过观察说话人的口唇发音动作、肌肉活动及面部表情，形成连续的视知觉，并与头脑中储存的词语表象相比较和联系，进而理解说话者的内容。唇读作为语音的发音运动技能，可以帮助听障儿童利用唇读在口语交流过程中获取信息，有利于他们随班就读，融入主流社会。

目前大部分失聪和听障儿童都在聋哑学校或特殊教育学校学习，为了让听障儿童能接受高质量的普通教育，我国部分地区采取了融合教育课堂理念，即：融合指的是让大多数残障儿童进入普通班，并增进在普通班学习的方式。希望能合并普通及特教系统，建立一个统一完整的系统以便管理教育资源，并希望将不同种类班级的学生融合在一起。但其难点在于：普通教育无法对听障生提供高质量的个别化教学。听障生对教师授课过程中唇读及课后复习中存在很大的障碍。有鉴于此，有必要针对听障生的特殊需求，提供能辅助听障生在融合教育课堂上正常上课的系统平台及装置。

发明内容

本发明为辅助听障生融入融合教育课堂的辅助系统及装置，是具有音、视频识别及语音转文字的功能，同时该系统加入了资源存储模块、资源获取模块，提供能实时接收教师授课内容的辅助听障生在融合教育课堂上正常上课的系统平台，同时本系统可作为课后复习的视频资料辅助学习。

听障生融合教育课堂辅助系统，其特征在与：包括面部运动数据采集模块、视频识别处理模块、语音数据采集模块、语音识别模块、同步处理模块、数据传输模块、显示模块、资源存储模块、资源获取模块、数据播放模块。

所述面部运动数据采集模块用于采集说话人面部运动数据。

所述视频识别处理模块用于视频数据传输、视频数据接收、视频处理。

所述语音数据采集模块用于采集说话人语音数据。

所述语音识别模块用于将语音信息转至文字信息。

所述同步处理模块用于将文字、语音、视频信息同步传递。

所述数据传输模块用于将已同步的信息实时不间断传递。

所述资源存储模块用于将以获取的音频、视频、文字信息进行存储。

所述资源获取模块包括视频提取单元、协议分析单元、媒体解码单元、用户管理单元对以存储的信息进行提取。

所述数据播放模块用于对资源存储模块中存储的音频、视频、文字信息按照各协议划分进行播放。

所述显示模块用于显示说话人音频、视频、文字可视化信息。

本发明是利用移动互联网方式解决听障生在融合教育课堂问题的辅助系统及装置，系统通过视频识别处理模块、语音识别模块与同步处理模块后实时捕捉教师上课的唇形变化，听障生通过手机或者其他显示模块观看视频，了解教师授课知识点或通过资源存储模块、资源获取模块登录系统平台巩固复习课间教师授课知识点。

附图说明

图1是听障生融合教育课堂辅助系统及装置。

图2是视频识别处理模块102示意图。