[发明专利]一种基于人工智能的英语发音自检方法和自检系统

权利要求书

1.一种基于人工智能的英语发音自检方法，其特征在于，包括如下步骤：

步骤一：采集人员在各音节标准发音时的面部图像，得到人员在各音节标准发音过程中各面部图像中的关键点序列和检测角序列；

所述面部图像中的关键点包括两个嘴角、上嘴唇顶点、下嘴唇定点和鼻尖；两个嘴角连线的中点与鼻尖点构成参考向量；上嘴唇的顶点和下嘴唇的顶点构成动作向量，所述检测角为参考向量和动作向量的夹角；

步骤二：建立姿态预测神经网络，以人员在标准发音过程中各面部图像的关键点序列为输入，以对应的检测角序列为输出，对姿态预测神经网络进行训练，得到训练后的姿态神经网络；

步骤三：在用户发音过程中采集其面部图像，得到其发音过程中各面部图像的关键点序列，将该关键点序列输入到训练后的姿态神经网络中，得到其检测角序列，将与其相似度最高的检测角序列所对应的音节作为用户所发出的音节。

2.根据权利要求1所述的基于人工智能的用于发音自检方法，其特征在于，获取面部图像中关键点坐标的方法为：

获取发音过程中的面部图像，包括面部的RGB图像和深度图像；

将面部的RGB图像输入到训练后的关键点定位神经网络中，得到面部图像中各关键点的二维坐标；

获取各关键点在深度图像中的深度值，将深度值作为对应关键点的第三轴坐标，将其与对应关键点的二维坐标相结合，得到各关键点的三维坐标。

3.根据权利要求2所述的基于人工智能的用于发音自检方法，其特征在于，获取面部的深度图像后首先对其进行中值滤波，然后将其转换为灰度图像。

4.根据权利要求1所述的基于人工智能的英语发音自检方法，其特征在于，计算两个检测角相似度的方法为：

比较两个检测角序列中对应时刻检测角度值的相似度；

判断各时刻检测角度值的相似度是否均大于相应的设定相似度，如果大于，则判断为两个检测角序列的相似度最高；

设两个检测角序列中，相同时刻的检测角度值分别为α1和α2，则两者之间的相似度为：P＝1-(α1-α2)/α1。

5.根据权利要求1所述的基于人工智能的英语发音自检方法，其特征在于，如果有面部图像中的关键点不能被检测到，则将该面部图像前一时刻和后一时刻面部图像中相应关键点位置的中点该面部图像中的关键点。

6.一种基于人工智能的英语发音自检系统，包括处理器和存储器，存储器上存储有用于在处理器上执行的计算机程序；其特征在于，所述处理器执行所述计算机程序时，实现如下基于人工智能的英语发音自检方法：

步骤一：采集人员在各音节标准发音时的面部图像，得到人员在各音节标准发音过程中各面部图像中的关键点序列和检测角序列；

所述面部图像中的关键点包括两个嘴角、上嘴唇顶点、下嘴唇定点和鼻尖；两个嘴角连线的中点与鼻尖点构成参考向量；上嘴唇的顶点和下嘴唇的顶点构成动作向量，所述检测角为参考向量和动作向量的夹角；

步骤二：建立姿态预测神经网络，以人员在标准发音过程中各面部图像的关键点序列为输入，以对应的检测角序列为输出，对姿态预测神经网络进行训练，得到训练后的姿态神经网络；

步骤三：在用户发音过程中采集其面部图像，得到其发音过程中各面部图像的关键点序列，将该关键点序列输入到训练后的姿态神经网络中，得到其检测角序列，将与其相似度最高的检测角序列所对应的音节作为用户所发出的音节。

7.根据权利要求6所述的基于人工智能的用于发音自检系统，其特征在于，获取面部图像中关键点坐标的方法为：

获取发音过程中的面部图像，包括面部的RGB图像和深度图像；

将面部的RGB图像输入到训练后的关键点定位神经网络中，得到面部图像中各关键点的二维坐标；

获取各关键点在深度图像中的深度值，将深度值作为对应关键点的第三轴坐标，将其与对应关键点的二维坐标相结合，得到各关键点的三维坐标。

8.根据权利要求7所述的基于人工智能的用于发音自检系统，其特征在于，获取面部的深度凸显后首先对其进行中值滤波，然后将其转换为灰度图像。