[发明专利]基于对偶学习的语音识别与语音合成模型训练方法

权利要求书

1.一种基于对偶学习的语音识别与语音合成模型训练方法，其特征在于，包括以下步骤：

步骤S1，首先，把语音识别作为“主任务”，语音合成作为“对偶任务”；

步骤S2，从语音数据集D_A和文本数据集D_B中分别选取训练数据，根据“主任务”和“对偶任务”的选取来确定训练数据的形式；

步骤S3，使用待训练的语音识别模型，把语音数据A转化为文本B′；

步骤S4，使用预先训练得到的文本语言模型，计算得到由语音数据A转化得到的文本是由人类书写而不是由机器生成的置信度，记作R₁；

步骤S5，使用待训练的语音合成模型，把由语音数据A转化得到的文本B′，转化回语音数据A′；

步骤S6，使用预先训练得到的语音语言模型，计算语音数据A′与原始的语音数据A之间的“重构相似度”，记作R₂；

步骤S7，计算最终的“奖励”，记作R＝α×R₁+(1-α)×R₂；α∈(0,1)；

步骤S8，根据得到的最终“奖励”R，使用强化学习技术中的REINFORCE算法对待训练的语音识别模型和语音合成模型的参数进行更新；

最后，回到步骤S1，把语音合成作为“主任务”，语音识别作为“对偶任务”，把接下来的步骤中的数据进行对称的交换，重复执行步骤S1～S8，直到语音识别模型和语音合成模型都收敛或达到程序停止条件。

2.如权利要求1所述的基于对偶学习的语音识别与语音合成模型训练方法，其特征在于，

步骤S1之前，定义：用于训练语音识别和语音合成模型的语音数据集D_A，文本数据集D_B；待训练的语音识别模型Θ_AB；待训练的语音合成模型Θ_BA；预先训练得到的，用于计算语音数据是由人类生成而不是由机器生成的置信度的语音语言模型LM_A；预先训练得到的，用于计算文本数据是由人类书写而不是由机器生成的置信度的文本语言模型LM_B；

对文本数据采用词向量的编码方式。

3.如权利要求2所述的基于对偶学习的语音识别与语音合成模型训练方法，其特征在于，

步骤S2中，对文本数据集D_B中的每个词，通过查表的方式得到每个词的词向量表示，形成词向量矩阵。

4.如权利要求3所述的基于对偶学习的语音识别与语音合成模型训练方法，其特征在于，

步骤S4具体包括：先通过查表的方式，将词向量矩阵形式的文本B′，解码为由单词组成的普通文本，用B″表示；

把解码后的普通文本B″输入已有的文本语言模型LM_B中，计算普通文本B″是由人类书写而不是由机器生成的置信度，记作R₁＝LM_B(B′)。

5.如权利要求4所述的基于对偶学习的语音识别与语音合成模型训练方法，其特征在于，

步骤S5，使用待训练的语音合成模型Θ_BA，把由语音数据A转化得到的词向量矩阵形式的文本B′，转化回语音数据，用A′表示。

6.如权利要求5所述的基于对偶学习的语音识别与语音合成模型训练方法，其特征在于，

步骤S6，把语音数据A′输入已有的语音语言模型LM_A中，计算语音数据A′与原始的语音数据A之间的“重构相似度”，记作R₂＝LM_A(A′)。

7.如权利要求5所述的基于对偶学习的语音识别与语音合成模型训练方法，其特征在于，

步骤S8具体包括：

根据得到的最终“奖励”R，计算R对语音识别模型与语音合成模型各自参数的梯度；

计算R对语音识别模型参数的梯度，计算公式为：

计算R对语音合成模型参数的梯度，计算公式为：

其中，表示梯度，E表示期望，K表示此次训练中所用数据的个数，P表示概率；α∈(0,1)，表示用于控制两个语言模型所占权重的超参数；

使用强化学习技术中的REINFORCE算法，对待训练的语音识别模型的参数进行更新，更新公式为：

其中，γ₁∈(0,1)，表示学习率；

使用强化学习技术中的REINFORCE算法，对待训练的语音合成模型的参数进行更新，更新公式为：

其中，γ₂∈(0,1)，表示学习率。