[发明专利]基于语音识别和图形反馈校正的游戏化听觉口语法系统

权利要求书

1.基于语音识别和图形反馈校正的游戏化听觉口语法系统，包括软件系统与硬件系统，其特征在于：所述软件系统包括专为听障儿童设计的移动端应用程序和专为听觉口语治疗师和听障儿童家长设计的门户网站，所述移动端应用程序为听障儿童提供训练教程、训练平台和训练游戏，所述门户网站可以为听障儿童制定训练计划和跟踪训练进度，所述硬件系统包括一个物理游戏。

2.根据权利要求1所述的基于语音识别和图形反馈校正的游戏化听觉口语法系统，其特征在于：所述移动端应用程序目标用户是低龄听障儿童；

主要遵循操作简单，内容通俗易懂，趣味性强，游戏性强的特点；

促进听障儿童在轻松愉快的环境中进行听觉口语康复训练。

3.根据权利要求1所述的基于语音识别和图形反馈校正的游戏化听觉口语法系统，其特征在于：所述门户网站目标用户是听觉口语治疗师和听障儿童的家长，主要遵循操作简单，页面排版简洁和整齐，功能性强的特点；

让听觉口语治疗师和听障儿童的家长可以在较短的时间内学会操作网站，快速获取对听障儿童的训练有效的信息。

4.根据权利要求1所述的基于语音识别和图形反馈校正的游戏化听觉口语法系统，其特征在于：所述物理游戏为一种“拼立方”目标用户是低龄听障儿童，主要遵循操作简单，产品安全性高，不会误伤儿童，质量高，不会轻易损坏的特点，产品的外层会使用绝缘的塑料保护壳和弹性橡胶包裹，用圆角代替尖角。

5.根据权利要求1所述的基于语音识别和图形反馈校正的游戏化听觉口语法系统，其特征在于：所述移动端应用程序还包括物理游戏“拼立方”的软件版本。

6.一种培训如何发音训练方法，其特征在于：包括以下步骤：

步骤1，提供标准的发音教程和演示，将使用正确的发音方式为听障儿童和他们的家长提供详细和标准化的可视化信息；

步骤2，提供三维建模发音动画，听障儿童可以对三维模型移动，旋转，放大或缩小，能够非常清晰地显示嘴巴内部的结构；

使听障儿童和他们的家长更清楚嘴巴发音时的形状和运动情况；

步骤3，在应用程序中启用摄像头，嘴形的标准发音将叠加在实时捕获的摄像机上，以便孩子可以实时练习；

步骤4，采用动态时间规整算法，线性预测声带和梅尔频率倒谱系数来准确判断听障儿童的发音正确率，利用循环神经网络进一步提高算法的准确率；

这项技术可帮助有听障儿童在训练时发出更准确的发音，同时加入嘴形动作分析，使用计算机视觉技术分析听障儿童发音视频中的嘴形的准确率；

步骤5，听障儿童的发音记录存储在云端数据库中，听觉口语治疗师和听障儿童的家长可以随时监视听障儿童的学习过程，并及时向听障儿童提供训练结果的反馈。