[发明专利]纠正发音的方法、装置、存储介质及电子设备

权利要求书

1.一种纠正发音的方法，其特征在于，所述方法包括：

获取用户的待纠音视频，所述待纠音视频包括待纠正发音音频和待纠正发音面部动作图像帧序列；

从所述待纠正发音音频中提取音频特征信息；

将所述音频特征信息输入嘴唇关键点平均模型，得到所述音频特征信息对应的标准嘴唇关键点信息；

从所述待纠正发音面部动作图像帧序列中提取实际嘴唇关键点信息；

对所述标准嘴唇关键点信息和所述实际嘴唇关键点信息进行比较，得到嘴唇动作纠正信息；

将所述嘴唇动作纠正信息作为纠正发音的指导信息，所述指导信息用于指导所述用户通过修正发音动作以纠正发音。

2.根据权利要求1所述的方法，其特征在于，所述音频特征信息包括音素后验概率向量，所述方法还包括：

将所述音素后验概率向量、所述实际嘴唇关键点信息输入发音器官模型，得到所述发音器官模型输出的所述用户的口腔内部发音器官运动特征信息；

将所述口腔内部发音器官运动特征信息与标准口腔内部发音器官运动特征信息进行对比，得到口腔内部发音器官动作纠正信息；

所述将所述嘴唇动作纠正信息作为纠正发音的指导信息，包括：

将所述嘴唇动作纠正信息和所述口腔内部发音器官动作纠正信息作为所述指导信息。

3.根据权利要求2所述的方法，其特征在于，所述待纠音视频为所述用户朗读目标例句的视频，所述标准口腔内部发音器官运动特征信息通过如下方式确定：

从与所述目标例句对应的标准发音视频中提取标准音素后验概率向量和标准发音嘴唇关键点信息；

将所述标准音素后验概率向量和所述标准发音嘴唇关键点信息输入所述发音器官模型，得到所述发音器官模型输出的所述标准口腔内部发音器官运动特征信息。

4.根据权利要求1-3中任一项所述的方法，其特征在于，所述获取用户的待纠音视频，包括：

向所述用户展示给定例句；

获取所述用户朗读所述给定例句的发音视频；

对所述发音视频进行发音评价，得到需要纠正发音的目标例句对应的发音视频片段；

将所述发音视频片段作为所述待纠音视频。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

通过所述用户的终端展示所述目标例句和所述指导信息，以使所述用户根据所述指导信息纠正所述目标例句的读音。

6.根据权利要求2或3所述的方法，其特征在于，口腔内部发音器官包括上齿、下齿、齿龈、硬颚、软颚、小舌、舌尖、舌面、舌根、鼻腔、口腔、咽头、会厌、食道、气管、声带、喉头中的至少一种器官，所述口腔内部发音器官动作纠正信息包括所述至少一种器官的动作纠正信息。

7.根据权利要求6所述的方法，其特征在于，所述发音器官模型是通过如下方式训练得到的：

通过传感器采集标准发音人念读文本样本时所述口腔内部发音器官的三维运动特征信息样本以及标准发音视频样本；

从所述标准发音视频样本的音频中提取标准音素后验概率向量样本；

从所述标准发音视频样本的图像帧中提取标准发音嘴唇关键点信息样本；

根据所述标准音素后验概率向量样本、所述标准发音嘴唇关键点信息样本以及所述口腔内部发音器官的三维运动特征信息样本训练得到所述发音器官模型。

8.根据权利要求1所述的方法，其特征在于，所述嘴唇关键点平均模型是通过如下方式训练得到的：

从标准发音视频样本中提取标准发音人音频特征信息样本以及标准发音人嘴唇关键点信息样本，并根据所述标准发音人音频特征信息样本和所述标准发音人嘴唇关键点信息样本构建发音标签为标准发音标签的正样本模型训练数据；

从非标准发音视频样本中提取非标准发音人音频特征信息样本以及非标准发音人嘴唇关键点信息样本，并根据所述非标准发音人音频特征信息样本和所述非标准发音人嘴唇关键点信息样本构建所述发音标签为非标准发音标签的负样本模型训练数据；

根据所述正样本模型训练数据和所述负样本模型训练数据训练得到所述嘴唇关键点平均模型。