[发明专利]一种发音评测方法、装置、电子设备及存储介质

权利要求书

1.一种发音评测方法，其特征在于，所述方法包括：

获取待评测的发音音频和待评测的发音音频对应的文本；

执行发音评测操作，得到待评测的发音音频的发音评测结果，发音评测操作包括：

生成所述待评测的发音音频的发音音频特征向量，以及生成待评测的发音音频对应的文本的文本特征向量；

将所述发音音频特征向量编码为经过编码的发音音频特征向量，以及将所述文本特征向量编码为经过编码的文本特征向量，其中，经过编码的发音音频特征向量与经过编码的文本特征向量属于同一语义空间；其中，所述经过编码的发音音频特征向量为通过第一深度神经网络对所述发音音频特征向量进行编码后获得的发音音频特征向量，以及，所述经过编码的文本特征向量为通过第二深度神经网络对所述文本特征向量进行编码后获得的文本特征向量；

计算所述经过编码的发音音频特征向量与所述经过编码的文本特征向量的相似度；

基于所述相似度，生成待评测的发音音频的发音评测结果，以及输出所述待评测的发音音频的发音评测结果。

2.根据权利要求1所述的方法，其特征在于，执行发音评测操作，得到待评测的发音音频的发音评测结果包括：

利用发音评测模型执行发音评测操作，得到待评测的发音音频的发音评测结果，其中，发音评测模型被预先利用训练样本和训练样本的标注数据进行训练，训练样本包括：用于训练的发音音频、用于训练的发音音频对应的文本。

3.根据权利要求2所述的方法，其特征在于，对于每一个训练样本，训练样本的标注数据为以下之一：指示朗读用于训练的发音音频对应的文本的发音准确的数值、指示朗读用于训练的发音音频对应的文本的发音不准确的数值。

4.根据权利要求1－3之一所述的方法，其特征在于，将所述发音音频特征向量编码为经过编码的发音音频特征向量，以及将所述文本特征向量编码为经过编码的文本特征向量包括：

利用第一深度神经网络将所述发音音频特征向量编码为经过编码的发音音频特征向量，以及利用第二深度神经网络将所述文本特征向量编码为经过编码的文本特征向量。

5.根据权利要求1所述的方法，其特征在于，所述生成所述待评测的发音音频的发音音频特征向量包括：

提取所述待评测的发音音频中的每一帧的声学特征；

利用卷积神经网络对所述每一帧的声学特征进行编码，得到所述待评测的发音音频的发音音频特征向量。

6.根据权利要求5所述的方法，其特征在于，所述声学特征为FBank特征。

7.根据权利要求6所述的方法，其特征在于，所述卷积神经网络为VGG19网络。

8.根据权利要求1所述的方法，其特征在于，所述生成待评测的发音音频对应的文本的文本特征向量包括：

生成待评测的发音音频对应的文本中的每一个词的词向量；

利用双向长短期记忆网络对所述每一个词的词向量进行编码，得到待评测的发音音频对应的文本的文本特征向量。

9.根据权利要求1所述的方法，其特征在于，所述计算所述经过编码的发音音频特征向量与所述经过编码的文本特征向量的相似度包括：

计算所述经过编码的发音音频特征向量与所述经过编码的文本特征向量的余弦距离；

将所述余弦距离作为所述相似度。

10.根据权利要求1所述的方法，其特征在于，基于所述相似度，生成待评测的发音音频的发音评测结果包括：

当所述相似度大于或等于相似度阈值时，生成指示发音准确的发音评测结果；

当所述相似度小于相似度阈值时，生成指示发音不准确的发音评测结果。

11.一种发音评测装置，其特征在于，所述装置包括：

获取单元，被配置为获取待评测的发音音频和待评测的发音音频对应的文本；

评测单元，被配置为执行发音评测操作，发音评测操作包括：生成所述待评测的发音音频的发音音频特征向量，以及生成待评测的发音音频对应的文本的文本特征向量；将所述发音音频特征向量编码为经过编码的发音音频特征向量，以及将所述文本特征向量编码为经过编码的文本特征向量，其中，经过编码的发音音频特征向量与经过编码的文本特征向量属于同一语义空间；其中，所述经过编码的发音音频特征向量为通过第一深度神经网络对所述发音音频特征向量进行编码后获得的发音音频特征向量，以及，所述经过编码的文本特征向量为通过第二深度神经网络对所述文本特征向量进行编码后获得的文本特征向量；计算所述经过编码的发音音频特征向量与所述经过编码的文本特征向量的相似度；基于所述相似度，生成待评测的发音音频的发音评测结果，以及输出所述待评测的发音音频的发音评测结果。