[发明专利]一种基于口型识别的英语发音质量评估方法

权利要求书

1.一种基于口型识别的英语发音质量评估方法，其特征在于：所述基于口型识别的英语发音质量评估方法包括：

步骤1，使用超高速摄像机采集人英语发音时至少包含人脸部、唇部对应前部空气区域的视频图像；同时采集与视频图像对应的英语音频数据；

步骤2，定位唇部，识别唇部特征，根据时间序列建立唇动视觉特征序列；根据唇部定位数据，预处理唇部对应前部空气区域的视频图像，提取空气流动特征序列；

步骤3，将英语音频数据与唇动视觉特征序列、空气流动特征序列建立联系，使用预定义的英语口型数据库训练出模型来完成口型识别，并根据空气流动特征序列修正口型识别数据；

步骤4，依据口型识别结果建立英语教学质量数据库，实时识别学生口语，根据预定义的评分规则，进行质量判别。

2.根据权利要求1所述的基于口型识别的英语发音质量评估方法，其特征在于：步骤3中根据空气流动特征序列修正口型识别数据包括：判断空气流动特征序列中流动特征值为0所对应的口型识别结果并定义对应的英语发音质量评分为0。

3.根据权利要求1所述的基于口型识别的英语发音质量评估方法，其特征在于：步骤2中提取空气流动特征序列包括：建立唇部对应前部空气区域的静态空气场，监测静态空气场，有英语发音时检测静态空气场的场图变化，定义无场图变化为未进行英语发音，对应的口语识别数据无效。

4.根据权利要求1所述的基于口型识别的英语发音质量评估方法，其特征在于：使用预定义的英语口型数据库训练出模型来完成口型识别是利用深度学习方法提取唇部特征，构建神经网络模型，将采集到的英语口语唇型数据输入到神经网络模型中进行训练。

5.根据权利要求1所述的基于口型识别的英语发音质量评估方法，其特征在于：步骤2定位唇部采用人眼定位方法进行唇部位置定位。