[发明专利]发音检错方法、装置、电子设备及存储介质

说明书

本发明实施例提供一种发音检错方法、装置、电子设备及存储介质，所述方法包括：基于朗读文本，对待检错的语音文件及其对应的发音视频文件进行切分，得到朗读文本包含的任一音素对应的语音片段和发音视频片段；将该音素及其对应的语音片段和发音视频片段输入至发音检错模型，得到发音检错模型输出的该音素的发音检错结果；发音检错模型用于基于语音片段的噪声水平，对语音片段和发音视频片段进行特征融合，并基于融合后的特征对该音素进行发音检错。本发明实施例提供的方法、装置、电子设备及存储介质，提高了发音检错方法的准确性和稳定性。

技术领域

本发明涉及智能语音技术领域，尤其涉及一种发音检错方法、装置、电子设备及存储介质。

背景技术

随着计算机技术和语音识别技术的发展，计算机辅助发音学习(ComputerAssited Pronunciation Training，CAPT)成为智能语音技术领域的一个研究热点。CAPT系统可以实现对学习者发音水平的自动评估，并对发音错误进行反馈和指导。

发音检错即检测出用户发音过程中的错误，是CAPT系统中的重要环节。现有的发音检错方法仅利用单一的音频信息，发音检错的准确性不稳定，特别是在噪声及远场环境中，由于受到噪声和失真的影响，发音检错的准确性大幅度下降。

发明内容

本发明实施例提供一种发音检错方法、装置、电子设备及存储介质，用以解决现有技术中在噪声及远场环境中发音检错的准确率较低的缺陷，实现发音检错的稳定性和准确性的提高。

本发明实施例提供一种发音检错方法，包括：

基于朗读文本，对待检错的语音文件及其对应的发音视频文件进行切分，得到所述朗读文本包含的任一音素对应的语音片段和发音视频片段；

将所述任一音素及其对应的语音片段和发音视频片段输入至发音检错模型，得到所述发音检错模型输出的所述任一音素的发音检错结果；

所述发音检错模型用于基于所述语音片段的噪声水平，对所述语音片段和所述发音视频片段进行特征融合，并基于融合后的特征对所述任一音素进行发音检错。

根据本发明一个实施例的发音检错方法，所述将所述任一音素及其对应的语音片段和发音视频片段输入至发音检错模型，得到所述发音检错模型输出的所述任一音素的发音检错结果，具体包括：

将所述任一音素对应的语音片段和发音视频片段输入至所述发音检错模型的特征提取层，得到所述特征提取层输出的所述语音片段的语音表示向量和所述发音视频片段的发音动作表示向量；

将所述语音片段输入至所述发音检错模型的噪声水平评估层，得到所述噪声水平评估层输出的所述语音片段的噪声水平表示向量；

将所述语音表示向量和所述发音动作表示向量，以及所述噪声水平表示向量输入至所述发音检错模型的特征融合层，得到所述特征融合层输出的融合特征向量；

将所述任一音素的音素向量和所述融合特征向量输入至所述发音检错模型的发音检错层，得到所述发音检错层输出的所述任一音素的发音检错结果。

根据本发明一个实施例的发音检错方法，所述将所述语音表示向量和所述发音动作表示向量，以及所述噪声水平表示向量输入至所述发音检错模型的特征融合层，得到所述特征融合层输出的融合特征向量，具体包括：

将所述发音动作表示向量和所述噪声水平表示向量输入至所述特征融合层的权重注意力层，得到所述权重注意力层输出的所述发音动作表示向量的融合权重；

将所述发音动作表示向量及其融合权重，以及所述语音表示向量输入至所述特征融合层的加权融合层，得到所述加权融合层输出的所述融合特征向量。