[发明专利]纠正发音的方法、装置、存储介质及电子设备

说明书

本公开涉及一种纠正发音的方法、装置、存储介质及电子设备。该方法包括：获取用户的待纠音视频，所述待纠音视频包括待纠正发音音频和待纠正发音面部动作图像帧序列；从所述待纠正发音音频中提取音频特征信息；将所述音频特征信息输入嘴唇关键点平均模型，得到所述音频特征信息对应的标准嘴唇关键点信息；从所述待纠正发音面部动作图像帧序列中提取实际嘴唇关键点信息；对所述标准嘴唇关键点信息和所述实际嘴唇关键点信息进行比较，得到嘴唇动作纠正信息；将所述嘴唇动作纠正信息作为纠正发音的指导信息，所述指导信息用于指导所述用户通过修正发音动作以纠正发音。采用这种方法，可得到准确地指导信息以纠正用户发音。

技术领域

本公开涉及音频处理技术领域，具体地，涉及一种纠正发音的方法、装置、存储介质及电子设备。

背景技术

在语言教学场景下，通常给出教学文本，用户通过点击音频按钮以播放该教学文本对应的标准发音音频。用户通过模仿该标准发音音频来学习该教学文本的正确发音。

相关技术中，会对用户模仿/跟读的发音音频进行发音评价(如MDD(Mispronunciation Detection and Diagnosis)评分)，以得到该用户的发音测评结果。用户基于该结果可定位需要纠正发音的音素或单词，如此可进一步地对需要纠正发音的音素或单词进行针对性学习或训练。但是，对于用户需要纠正发音的音素或单词，用户往往不清楚应该如何做才能发出正确的读音。

发明内容

提供该发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

第一方面，本公开提供一种纠正发音的方法，所述方法包括：

获取用户的待纠音视频，所述待纠音视频包括待纠正发音音频和待纠正发音面部动作图像帧序列；从所述待纠正发音音频中提取音频特征信息；将所述音频特征信息输入嘴唇关键点平均模型，得到所述音频特征信息对应的标准嘴唇关键点信息；从所述待纠正发音面部动作图像帧序列中提取实际嘴唇关键点信息；对所述标准嘴唇关键点信息和所述实际嘴唇关键点信息进行比较，得到嘴唇动作纠正信息；将所述嘴唇动作纠正信息作为纠正发音的指导信息，所述指导信息用于指导所述用户通过修正发音动作以纠正发音。

第二方面，本公开提供一种纠正发音的装置，所述装置包括：

获取模块，用于获取用户的待纠音视频，所述待纠音视频包括待纠正发音音频和待纠正发音面部动作图像帧序列；第一提取模块，用于从所述待纠正发音音频中提取音频特征信息；第一输入模块，用于将所述音频特征信息输入嘴唇关键点平均模型，得到所述音频特征信息对应的标准嘴唇关键点信息；第二提取模块，用于从所述待纠正发音面部动作图像帧序列中提取实际嘴唇关键点信息；比较模块，用于对所述标准嘴唇关键点信息和所述实际嘴唇关键点信息进行比较，得到嘴唇动作纠正信息；执行模块，用于将所述嘴唇动作纠正信息作为纠正发音的指导信息，所述指导信息用于指导所述用户通过修正发音动作以纠正发音。

第三方面，本公开提供一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现上述第一方面所述方法的步骤。

第四方面，本公开提供一种电子设备，包括：存储装置，其上存储有计算机程序；处理装置，用于执行所述存储装置中的所述计算机程序，以实现上述第一方面所述方法的步骤。

采用上述技术方案，至少可以达到如下的技术效果：