[发明专利]用户发音准确度评估方法、装置和电子设备

说明书

本发明属于在线教育技术领域，提供一种用户发音准确度评估方法、装置、电子设备和记录介质，方法包括：获取用户发音时的音频信息和影像信息；从所述影像信息中筛选出至少一帧用户发音时的图像；从所述发音时的图像中提取用户的口型信息；将所述音频信息和口型信息分别输入不同的深度学习模型，计算用户的发音匹配度和口型匹配度，并根据该发音匹配度和口型匹配度判断用户发音是否准确。本发明通过多维度来评估用户的发音是否准确，使得评估结果更加精确，将评估结果实时反馈给用户，并根据评估结果给出对应的纠正方案，便于用户调整自己的发音口型和发音音调，提升用户体验。

技术领域

本发明属于教育技术领域，特别适用于在线教育，更具体的是涉及一种用户发音准确度评估方法、装置、电子设备和计算机可读介质。

背景技术

在语言学习的过程中，学习正确的口语发音也是非常重要的一部分，在之前几年，口语学习只能跟随线下的老师进行，随着技术的发展，线上的口语学习成为一种趋势，近几年口语发音打分和纠正主要建立在语音特征的表示上。发音时口型的正确与否对发音起到了至关重要的作用，也即掌握正确的口型可以促使学习者发出标准的读音。

现有的产品在进行用户发音练习时，主要方式是通过将用户发音时的口型与标准口型进行比对，或者将用户发音时的语音与标准语音进行比对，来判断用户发音是否标准，但这种单一的比对方式判断结果并不准确，很可能出现用户口型标准但是发音不准的问题，相应的对用户发音不准的问题纠正效果也有限。

发明内容

(一)要解决的技术问题

本发明旨在解决如何有效评估并纠正用户发音不准确的问题。

(二)技术方案

为解决上述技术问题，本发明的一方面提出一种用户发音准确度评估方法，包括：

获取用户发音时的音频信息和影像信息；

从所述影像信息中筛选出至少一帧用户发音时的图像；

从所述发音时的图像中提取用户的口型信息；

将所述音频信息和口型信息分别输入不同的深度学习模型，计算用户的发音匹配度和口型匹配度，并根据该发音匹配度和口型匹配度判断用户发音是否准确。

根据本发明的优选实施方式，所述计算用户的口型匹配度进一步包括：

从每帧发音时的图像的口型信息中提取嘴部的关键点区域图像；

将所述关键点区域图像输入第一深度学习模型得到该用户的第一口型类别；

判断所述第一口型类别与正确的口型类别是否相同。

根据本发明的优选实施方式，所述计算用户的口型匹配度进一步包括：

将所述口型信息输入第二深度学习模型，提取嘴部的关键点区域特征；

将关键点区域特征与预设的口型库中的特征进行匹配，得到对应的第二口型类别；

判断所述第二口型类别与正确的口型类别是否相同。

根据本发明的优选实施方式，所述将关键点区域特征与预设的口型库中的特征进行匹配，得到对应的口型类别，进一步包括：

将关键点区域特征与预设的口型库中的特征进行匹配，选择与口型库中相同特征最多的口型类别作为该用户的口型类别；

将该口型类别的特征与正确的口型类别的特征进行相似度计算，得到相似度值。

根据本发明的优选实施方式，所述根据发音匹配度和口型匹配度判断用户发音是否准确，进一步包括：