[发明专利]听障生融合教育课堂辅助系统及装置

权利要求书

1.听障生融合教育课堂辅助系统及装置，其特征在于：包括面部运动数据采集模块、视频识别处理模块、语音数据采集模块、语音识别模块、同步处理模块、数据传输模块、显示模块、资源存储模块、资源获取模块、数据播放模块；

所述面部运动数据采集模块用于采集说话人面部运动特征数据；

所述视频识别处理模块用于视频数据传输、视频数据接收、视频数据处理；

所述语音数据采集模块用于采集说话人语音数据；

所述语音识别模块用于将语音信息转至文字信息；

所述同步处理模块用于将文字、语音、视频信息同步传递；

所述数据传输模块用于将已同步的信息实时不间断的传递；

所述资源存储模块用于将以获取的音频、视频、文字信息进行存储；

所述资源获取模块包括视频提取单元、协议分析单元、媒体解码单元、用户管理单元，对已存储的信息进行提取；

所述数据播放模块用于对资源存储模块中存储的音频、视频、文字信息按照各协议划分进行播放；

所述显示模块用于显示说话人音频、视频、文字可视化信息。

2.根据权利要求1所述的听障生融合教育课堂辅助系统及装置，其特征在于：该面部运动数据采集模块与视频识别处理模块相连接；该语音数据采集模块与语音识别模块相连接。

3.根据权利要求1所述的听障生融合教育课堂辅助系统及装置，其特征在于：该视频识别处理模块、语音识别模块与同步处理模块相连接；同步处理模块与数据传输模块相连接。

4.根据权利要求1所述的听障生融合教育课堂辅助系统及装置，其特征在于：所述语音识别模块包括语音处理模块、特征值提取模块、解码模块；所述语音处理模块包括转换单元、降噪单元；所述转换单元用于将语音信号模数转换；所述降噪单元用于降低信号噪声；

所述特征值提取模块用于将语音信号进行特征值提取；所述解码模块根据声学模型数据库和语言模型数据库，对语音信号特征参数进行解码识别，语音信号特征参数解码识别后将语音信息转至文字信息。

5.根据权利要求1所述的听障生融合教育课堂辅助系统及装置，其特征在于：所述视频识别处理模块包括视频传输模块、视频接收模块、视频处理模块；所述视频传输模块用于对视频信息进行编码、压缩、打包并将流媒体数据传输给视频接收模块；视频接收模块对接收的流媒体数据解码、解包、获得相应数字图像序列，并将其发送给视频处理模块。

6.根据权利要求1所述的听障生融合教育课堂辅助系统及装置，其特征在于：同步处理模块分别于视频识别处理模块、语音识别模块相连；

所述同步处理模块包括视频数据接收模块、音频数据接收模块、文字数据接收模块；

对接收到的视频数据、音频数据及语音识别模块提取出来的文字数据进行同步处理，并将同步处理的数据传输到数据传输模块。

7.根据权利要求1所述的听障生融合教育课堂辅助系统及装置，其特征在于：资源获取模块与视频播放模块相连；资源获取模块包括视频提取单元、协议分析单元、媒体解码单元、用户管理单元；视频提取单元用于对播放的音视频的传输协议进行提取并发送至协议分析单元；协议分析单元用于对接收的音视频信息传输协议进行分析；媒体解码单元用于对接收的音视频信息的协议进行解码；用户管理单元用于对用户的信息进行管理。