[发明专利]基于语音识别和图形反馈校正的游戏化听觉口语法系统

说明书

本发明公开了基于语音识别和图形反馈校正的游戏化听觉口语法系统，包括软件系统与硬件系统，所述软件系统包括专为听障儿童设计的移动端应用程序和专为听觉口语治疗师和听障儿童家长设计的门户网站，所述移动端应用程序为听障儿童提供训练教程、训练平台和训练游戏，所述门户网站可以为听障儿童制定训练计划和跟踪训练进度，所述硬件系统包括一个物理游戏。

技术领域

本发明涉及疗辅助相关领域，具体为基于语音识别和图形反馈校正的游戏化听觉口语法系统。

背景技术

在新加坡，新生儿听力筛查的普遍结果显示，每1,000名新生儿中有3.8个患有先天性听力障碍。因此，假设每年的出生人数是40,000，新加坡有大约3,000名19岁以下的青少年患有先天性听力障碍，这个数字还不包括获得性听力障碍。

而在中国，中国是世界上听力障碍儿童数量最多的国家。2006年，第二次全国残疾人抽样调查显示，中国有听力语言残疾人2,780万人，其中0 - 6岁的听力残疾儿童约有13.7万，每年新生聋儿约2.3万。

因此，为听障儿童家庭寻求积极有效的听觉口语康复治疗的最佳方案，是我们亟待解决的问题。

发明内容

本发明的目的在于提供基于语音识别和图形反馈校正的游戏化听觉口语法系统，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：基于语音识别和图形反馈校正的游戏化听觉口语法系统，包括软件系统与硬件系统，所述软件系统包括专为听障儿童设计的移动端应用程序和专为听觉口语治疗师和听障儿童家长设计的门户网站，所述移动端应用程序为听障儿童提供训练教程、训练平台和训练游戏，所述门户网站可以为听障儿童制定训练计划和跟踪训练进度，所述硬件系统包括一个物理游戏。

优选的，所述移动端应用程序目标用户是低龄听障儿童。主要遵循操作简单，内容通俗易懂，趣味性强，游戏性强的特点。促进听障儿童在轻松愉快的环境中进行听觉口语康复训练。

优选的，所述门户网站目标用户是听觉口语治疗师和听障儿童的家长，主要遵循操作简单，页面排版简洁和整齐，功能性强的特点。让听觉口语治疗师和听障儿童的家长可以在较短的时间内学会操作网站，快速获取对听障儿童的训练有效的信息。

优选的，所述物理游戏为一种“拼立方”目标用户是低龄听障儿童，主要遵循操作简单，产品安全性高，不会误伤儿童，质量高，不会轻易损坏的特点，产品的外层会使用绝缘的塑料保护壳和弹性橡胶包裹，用圆角代替尖角。

优选的，所述移动端应用程序还包括物理游戏“拼立方”的软件版本。

一种培训如何发音训练方法，包括以下步骤：

步骤1，提供标准的发音教程和演示，将使用正确的发音方式为听障儿童和他们的家长提供详细和标准化的可视化信息；

步骤2，提供三维建模发音动画，听障儿童可以对三维模型移动，旋转，放大或缩小，能够非常清晰地显示嘴巴内部的结构。使听障儿童和他们的家长更清楚嘴巴发音时的形状和运动情况；

步骤3，在应用程序中启用摄像头，嘴形的标准发音将叠加在实时捕获的摄像机上，以便孩子可以实时练习；

步骤4，采用动态时间规整算法，线性预测声带和梅尔频率倒谱系数来准确判断听障儿童的发音正确率，利用循环神经网络进一步提高算法的准确率。这项技术可帮助有听障儿童在训练时发出更准确的发音，同时加入嘴形动作分析，使用计算机视觉技术分析听障儿童发音视频中的嘴形的准确率；

步骤5，听障儿童的发音记录存储在云端数据库中，听觉口语治疗师和听障儿童的家长可以随时监视听障儿童的学习过程，并及时向听障儿童提供训练结果的反馈。

与现有技术相比，本发明的有益效果是：