[发明专利]发音检错方法、装置、电子设备及存储介质

权利要求书

1.一种发音检错方法，其特征在于，包括：

基于朗读文本，对待检错的语音文件及其对应的发音视频文件进行切分，得到所述朗读文本包含的任一音素对应的语音片段和发音视频片段；

将所述任一音素及其对应的语音片段和发音视频片段输入至发音检错模型，得到所述发音检错模型输出的所述任一音素的发音检错结果；

所述发音检错模型用于基于所述语音片段的噪声水平，对所述语音片段和所述发音视频片段进行特征融合，并基于融合后的特征对所述任一音素进行发音检错。

2.根据权利要求1所述的发音检错方法，其特征在于，所述将所述任一音素及其对应的语音片段和发音视频片段输入至发音检错模型，得到所述发音检错模型输出的所述任一音素的发音检错结果，具体包括：

将所述任一音素对应的语音片段和发音视频片段输入至所述发音检错模型的特征提取层，得到所述特征提取层输出的所述语音片段的语音表示向量和所述发音视频片段的发音动作表示向量；

将所述语音片段输入至所述发音检错模型的噪声水平评估层，得到所述噪声水平评估层输出的所述语音片段的噪声水平表示向量；

将所述语音表示向量和所述发音动作表示向量，以及所述噪声水平表示向量输入至所述发音检错模型的特征融合层，得到所述特征融合层输出的融合特征向量；

将所述任一音素的音素向量和所述融合特征向量输入至所述发音检错模型的发音检错层，得到所述发音检错层输出的所述任一音素的发音检错结果。

3.根据权利要求2所述的发音检错方法，其特征在于，所述将所述语音表示向量和所述发音动作表示向量，以及所述噪声水平表示向量输入至所述发音检错模型的特征融合层，得到所述特征融合层输出的融合特征向量，具体包括：

将所述发音动作表示向量和所述噪声水平表示向量输入至所述特征融合层的权重注意力层，得到所述权重注意力层输出的所述发音动作表示向量的融合权重；

将所述发音动作表示向量及其融合权重，以及所述语音表示向量输入至所述特征融合层的加权融合层，得到所述加权融合层输出的所述融合特征向量。

4.根据权利要求2所述的发音检错方法，其特征在于，所述将所述语音片段输入至所述发音检错模型的噪声水平评估层，得到所述噪声水平评估层输出的所述语音片段的噪声水平表示向量，具体包括：

将所述语音片段中每一语音帧的声学特征输入至所述噪声水平评估层的上下文编码层，得到所述上下文编码层输出的每一语音帧的隐层特征；

将每一语音帧的隐层特征输入至所述噪声水平评估层的噪声水平注意力层，得到所述噪声水平注意力层输出的所述语音片段的噪声水平表示向量。

5.根据权利要求2所述的发音检错方法，其特征在于，所述噪声水平评估层和噪声水平输出层构成噪声水平评估模型，其中所述噪声水平输出层用于基于所述语音片段的噪声水平表示向量输出所述语音片段的噪声水平；

所述噪声水平评估模型是基于样本带噪语音片段及其样本噪声水平训练得到的。

6.根据权利要求2所述的发音检错方法，其特征在于，所述将所述任一音素的音素向量和所述融合特征向量输入至所述发音检错模型的发音检错层，得到所述发音检错层输出的所述任一音素的发音检错结果，具体包括：

将所述任一音素的音素向量和所述融合特征向量输入至所述发音检错层的特征输出层，得到所述特征输出层输出的所述任一音素的发音向量；

将所述任一音素的发音向量输入至所述发音检错层的偏差计算层，得到所述偏差计算层输出的发音偏差程度；

将所述发音偏差程度输入至所述发音检错层的结果判定层，得到所述结果判定层输出的所述任一音素的发音检错结果。

7.根据权利要求6所述的发音检错方法，其特征在于，所述将所述任一音素的发音向量输入至所述发音检错层的偏差计算层，得到所述偏差计算层输出的发音偏差程度，具体包括：

将所述任一音素的发音向量输入至所述偏差计算层，由所述偏差计算层计算所述任一音素的发音向量与所述任一音素的标准发音向量之间的差距，得到所述偏差计算层输出的所述差距作为所述发音偏差程度。