[发明专利]发音偏误检测方法、装置及存储介质

权利要求书

1.一种基于语音预训练模型的发音偏误检测方法，其特征在于，包括：

构建语音预训练模型，并基于无标注语音语料库对所述语音预训练模型进行预训练；

在所述语音预训练模型上添加一层随机初始化的全连接层，得到微调预训练模型，并使用带标注的发音偏误数据对所述微调预训练模型进行训练，得到发音偏误检测模型；

利用所述发音偏误检测模型对学习者的语音进行检测，以获得发音偏误信息；

其中，所述构建语音预训练模型，包括：

构建语音识别模块，该模块包括编码器、上下文处理器和量化器，所述编码器用于将语音信号编码成隐向量，所述上下文处理器用于在当前音段上重新考虑整条语音上来自其他音段的信息以生成上下文相关的音段表示，所述量化器用于将生成的所述音段表示规范到有限的空间内。

2.根据权利要求1所述的发音偏误检测方法，其特征在于，所述利用所述发音偏误检测模型对学习者的语音进行检测包括：

输出一个关于所述学习者的语音的音素概率序列；

将所述音素概率序列解码成音素序列，并将所述音素序列和相应的参考文本进行对比，以获得发音偏误信息；或者，基于所述音素概率序列通过发音置信分数方法获得发音偏误信息。

3.根据权利要求1所述的发音偏误检测方法，其特征在于，所述在语音预训练模型上添加一层随机初始化的全连接层包括：将一个全连接层添加到所述上下文处理器中的Transformer模块上以构建微调预训练模型。

4.根据权利要求3所述的发音偏误检测方法，其特征在于，所述使用带标注的发音偏误数据对所述微调预训练模型进行训练包括：

在训练最初的预置次数中，只更新所述全连接层，编码器和上下文处理器不进行参数更新；

在所述预置次数之后的训练中，进行全模型参数更新。

5.根据权利要求4所述的发音偏误检测方法，其特征在于，采用adam优化器，训练时长为48小时。

6.根据权利要求1所述的发音偏误检测方法，其特征在于，所述预训练使用的损失函数为：

其对应的相似度函数sim为：

sim(a，b)＝a^Tb/||a||||b||

其中c_t为当前音段对应的上下文表示，q_t为量化向量表示，为包含正确量化向量的多个干扰项，K为归一化因子，t是当前音段对应的时间，m是被遮蔽的隐向量，Qt为所有量化向量表示集合。

7.一种基于语音预训练模型的发音偏误检测装置，其特征在于，包括语音识别模块和序列对齐模块，

所述语音识别模块包括编码器、上下文处理器、量化器以及全连接层，所述编码器、上下文处理器和量化器用于构建语音预训练模型，并基于无标注语音语料库对所述语音预训练模型进行预训练，在预训练后的所述语音预训练模型上添加一层随机初始化的全连接层，以得到微调预训练模型，并使用带标注的发音偏误数据对所述微调预训练模型进行训练以得到发音偏误检测模型，利用所述发音偏误检测模型对学习者的语音进行检测，输出一个关于所述学习者的语音的音素概率序列，并将所述音素概率序列解码成音素序列；

所述序列对齐模块将所述音素序列和相应的参考文本进行对比，获得发音偏误信息。

8.一种基于语音预训练模型的发音偏误检测装置，其特征在于，包括语音识别模块和发音置信分数模块，

所述语音识别模块包括编码器、上下文处理器、量化器以及全连接层，所述编码器、上下文处理器和量化器用于构建语音预训练模型，并基于无标注语音语料库对所述语音预训练模型进行预训练，在预训练后的所述语音预训练模型上添加一层随机初始化的全连接层，以得到微调预训练模型，并使用带标注的发音偏误数据对所述微调预训练模型进行训练以得到发音偏误检测模型，利用所述发音偏误检测模型对学习者的语音进行检测，输出一个关于所述学习者的语音的音素概率序列；

所述发音置信分数模块基于所述音素概率序列通过发音置信分数方法获得发音偏误信息。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至6任意一项所述的发音偏误检测方法。