[发明专利]一种基于语义注意力机制的多音字发音纠错方法及装置

权利要求书

1.一种基于语义注意力机制的多音字发音纠错方法，其特征在于，包括以下步骤：

获取文本数据，并对文本数据进行编码得到字嵌入向量矩阵；

构建包含编码器、语义注意力机制单元和解码器的语音合成模型并进行参数优化，其中，编码器用于将输入的字嵌入向量矩阵编码成字嵌入特征矩阵，语义注意力机制单元用于将每个字嵌入向量按照各自权重拆分成疑问部分、关键部分以及价值部分这三部分后，针对由前后字组成的相邻字组，以前字的疑问部分与后字的关键部分的乘积作为相邻字组的得分后，将该得分与后字的价值部分的乘积作为相邻字组的相关性，以组成关联矩阵；解码器对输入的字嵌入向量矩阵和关联矩阵进行解码处理，输出梅尔线性谱；

利用参数优化后的语义合成模型对文本数据进行语音合成，输出梅尔线性谱，依据梅尔线性谱计算得到多音字发音纠错的语音合成结果。

2.如权利要求1所述的基于语义注意力机制的多音字发音纠错方法，其特征在于，所述编码器包括至少1个卷积层和双向长短时期记忆网络，通过卷积层对输入字嵌入向量的特征提取和双向长短时期记忆网络的特征关联提取，输出字嵌入特征。

3.如权利要求1所述的基于语义注意力机制的多音字发音纠错方法，其特征在于，所述解码器包含至少1个卷积层、双向长短时期记忆网络以及线性预测层，其中，双向长短时期记忆网络对当前时刻输入的字嵌入特征和相关性与前一时刻的线性预测结果经过至少1个卷积层的卷积结果进行融合特征提取，得到的融合特征经过线性预测层得到线性预测结果，该线性预测结果经过卷积层操作后的结果与原线性预测结果融合后输出梅尔线性谱。

4.如权利要求1所述的基于语义注意力机制的多音字发音纠错方法，其特征在于，在对语音合成模型进行参数优化时，以语音合成模型输出的预测梅尔线性谱与真实梅尔线性普之间的均方误差作为损失函数，来优化语音合成模型的所有权重参数和偏置参数。

5.如权利要求1所述的基于语义注意力机制的多音字发音纠错方法，其特征在于，在对语音合成模型行参数优化前，需要构建包含多音字的文本数据集，通过手动录制音频的方式为文本数据集添加多音字音频，以构建文本的真实梅尔线性谱。

6.如权利要求1所述的基于语义注意力机制的多音字发音纠错方法，其特征在于，采用one-hot编码或bert-serving-server包将文本数据进行编码得到字嵌入向量矩阵。

7.一种基于语义注意力机制的多音字发音纠错装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，其特征在于，所述计算机存储器中还存储有参数优化后的语音合成模型，所述语音合成模型通过权利要求1～6任一项所述的基于语义注意力机制的多音字发音纠错方法构建，所述计算机处理器执行计算机程序时实现以下步骤：

获取文本数据，并对文本数据进行编码得到字嵌入向量矩阵；

利用语音合成模型对输入的字嵌入向量矩阵进行处理，获得梅尔线性谱；

依据梅尔线性谱计算得到多音字发音纠错的语音合成结果。