[发明专利]一种基于人工智能的英语发音自检方法和自检系统

说明书

本发明提供一种基于人工智能的英语发音自检方法和自检系统，自检方法包括如下步骤：采集人员在各音节标准发音时的面部图像，得到人员在各音节标准发音过程中各面部图像中的关键点序列和检测角序列；建立姿态预测神经网络，以人员在标准发音过程中各面部图像的关键点序列为输入，以对应的检测角序列为输出，对姿态预测神经网络进行训练，得到训练后的姿态神经网络；在用户发音过程中采集其面部图像，得到其发音过程中各面部图像的关键点序列，将该关键点序列输入到训练后的姿态神经网络中，得到其检测角序列，将与其相似度最高的检测角序列所对应的音节作为用户所发出的音节。本发明提供的技术方案能够提高对用户英语发音检测的准确性。

技术领域

本发明属于英语发音自检技术领域，具体涉及一种基于人工智能的英语发音自检方法和自检系统。

背景技术

英语教学是指对于英语是或者不是第一语言的人进行教授英语的过程。英语教学涉及多种专业理论知识，包括语言学、第二语言习得、词汇学、句法学、文体学、语料库理论、认知心理学等内容。英语教学是一个循序渐进的过程，无论是对于英语是或者不是第一语言的人来说，英语学习在全球化快速发展的今天都是至关重要的。

现有的英语教学中，对于学生的发音质量评估存在不能有效、简单的确定发音与否和发音质量。目前，现有的英语发音测试系统大多仅依赖音频数据实现发音情况的检测，检测结果单一。同时这类系统大多仅依靠用户反复听标准音频数据的方式实现发音训练，训练效率即为低下。

申请公布号为CN110379221A的中国发明专利申请文件公开了一种英语发音测试与评价系统，基于音频和口型实现了用户发音情况的检测分析，使得用户可以更加全面的了解自己的发音情况，同时以及标准口型协同标准音频的方式进行标准资料的反馈，大大提高了学习效率。但是该方案不能判断出用户的发音是否准确。

申请公布号为CN110689464A的中国发明专利申请文件公开了一种基于口型识别的英语发音质量评估方法，通过采用唇语加入唇语前部空气流动场检测，实现唇语作假数据剔除，降低误差的技术方案，判断发音是否准确。但是该方案需要采集用户发音时唇前的空气流动，不仅操作麻烦，而且受到检测距离的影响，检测结果准确性比较低。

综上所述，现有技术中的英语发音检测方案存在着检测结果不准确的问题。

发明内容

本发明的目的是提供一种基于人工智能的英语发音自检方法和自检系统，以解决现有技术中对用于英语发音检测不准确的问题。

为实现上述目的，本发明采用如下技术方案：

一种基于人工智能的英语发音自检方法，包括如下步骤：

步骤一：采集人员在各音节标准发音时的面部图像，得到人员在各音节标准发音过程中各面部图像中的关键点序列和检测角序列；

所述面部图像中的关键点包括两个嘴角、上嘴唇顶点、下嘴唇定点和鼻尖；两个嘴角连线的中点与鼻尖点构成参考向量；上嘴唇的顶点和下嘴唇的顶点构成动作向量，所述检测角为参考向量和动作向量的夹角；

步骤二：建立姿态预测神经网络，以人员在标准发音过程中各面部图像的关键点序列为输入，以对应的检测角序列为输出，对姿态预测神经网络进行训练，得到训练后的姿态神经网络；

步骤三：在用户发音过程中采集其面部图像，得到其发音过程中各面部图像的关键点序列，将该关键点序列输入到训练后的姿态神经网络中，得到其检测角序列，将与其相似度最高的检测角序列所对应的音节作为用户所发出的音节。

进一步的，获取面部图像中关键点坐标的方法为：

获取发音过程中的面部图像，包括面部的RGB图像和深度图像；

将面部的RGB图像输入到训练后的关键点定位神经网络中，得到面部图像中各关键点的二维坐标；