[发明专利]外语教学评价信息生成方法以及装置

说明书

本公开是关于一种外语教学评价信息生成方法、装置、电子设备以及存储介质。该方法包括：输出外语测试信息，检测视频采集设备采集的视频信号，分别提取所述视频信号中的视频画面信息以及音频信息，对所述视频画面信息中的用户唇部进行定位，并抓取所述用户唇部的口型特征，在预先建立的外语测试信息与发音信息模型中匹配与所述外语测试信息对应的发音信息，所述发音信息包括标准发音以及标准口型特征，计算所述用户唇部的口型特征与匹配到的所述标准口型特征的第一特征偏差值，根据所述第一特征偏差值生成教学评价信息。本公开可以通过对外语测试信息中口型特征的定位和对比实现对外语教学的评价。

技术领域

本公开涉及计算机技术领域，具体而言，涉及一种外语教学评价信息生成方法、装置、电子设备以及计算机可读存储介质。

背景技术

外语学习中发音是否准确直接关系到教学学习效果，实际教学中，准确的判定用户每次的发音与口型的正确程度，让用户知悉待更正的方向，可以让提高用户的学习效率，实现事半功倍的效果。

然而，在实际教学中，只能通过一对一教学的方式才能实现对用户每次的发音与口型的观察和判定，这样的方式需要耗用占用大量的教学资源，同时学习时间和场所也是很的制约因素。

在现有技术中，围绕注释内容的显示这个主题，现有技术中已经有一些专利申请进行了有益的尝试，比如：

申请号为CN201610823063.6的专利申请公开了一种语音口型动画的识别方法及装置，从待识别语音中提取语音特征；将提取的所述语音特征，输入预先训练的语音口型识别模型；确定所述语音口型识别模型输出的与所述语音特征对应的口型类别；根据所述语音口型识别模型输出的口型类别，确定与所述口型类别对应的口型动画，作为所述待识别语音的口型动画。该申请通过将提取的所述语音特征在预先训练的语音口型识别模型处理得到对应的口型，但是并没有对用户的口型进行采集分析。

申请号为CN201611075466.3的专利申请公开了唇语识别方法以及装置，获取目标人体对象的图像信息；从所述图像信息中获取所述目标人体对象的嘴唇区域图像；从所述嘴唇区域图像中提取唇部特征，并对所述唇部特征进行唇语识别。该申请先对获取人体对象的图像信息，然后在其中获取嘴唇区域图像，进而提取唇部特征，但其获取嘴唇区域图像是通过对鼻尖的特征定位来实现的，并不是通过嘴唇的轮廓或者颜色特征来实现的。

申请号为CN201611076381.7的专利申请公开了一种基于深度图像的唇语交互方法以及唇语交互装置，获取目标人体对象的深度图像信息；从深度图像信息中获取所述目标人体对象的唇部区域图像；从嘴唇区域图像提取唇部特征，根据唇部特征进行唇语识别；将唇语识别的结果转化成对应的操作指令，并根据所述操作指令进行交互。该申请是依靠图像识别的方式实现对唇部的定位及唇部特征的提取的，其目的是识别对应的唇语以实现对交互设备的控制，并不能将唇部特征显示给用户使用户达到外语学习的目的。

现有技术中，关于外语教学评价信息生成方法中口型特征的处理还存在以下问题：

1、通过视频采集设备采集并分析口型设备后，并没有在用户的显示终端中显示；

2、不能先通过人体识别，进而通过嘴唇的轮廓或者颜色特征来实现对唇部的定位；

3、此外，也并未关注到用户口型与标准口型对比显示的问题。

因此，需要提供一种或多种至少能够解决上述问题的技术方案。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种外语教学评价信息生成方法、装置、电子设备以及计算机可读存储介质，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。