[发明专利]基于对偶学习的语音识别与语音合成模型训练方法

摘要

本发明提供一种基于对偶学习的语音识别与语音合成模型训练方法，包括以下步骤：首先，把语音识别作为“主任务”，语音合成作为“对偶任务”；使用待训练的语音识别模型，把语音数据A转化为文本B′；使用预先训练得到的文本语言模型，计算得到由语音数据A转化得到的文本是由人类书写而不是由机器生成的置信度；使用待训练的语音合成模型，把由语音数据A转化得到的文本B′，转化回语音数据A′；使用预先训练得到的语音语言模型，计算语音数据A′与原始的语音数据A之间的“重构相似度”；计算最终的“奖励”，使用强化学习技术中的REINFORCE算法对待训练的语音识别模型和语音合成模型的参数进行更新。本发明可节省由于收集数据而带来的大量成本开销。

主权项

一种基于对偶学习的语音识别与语音合成模型训练方法，其特征在于，包括以下步骤：步骤S1，首先，把语音识别作为“主任务”，语音合成作为“对偶任务”；步骤S2，从语音数据集D_A和文本数据集D_B中分别选取训练数据，根据“主任务”和“对偶任务”的选取来确定训练数据的形式；步骤S3，使用待训练的语音识别模型，把语音数据A转化为文本B′；步骤S4，使用预先训练得到的文本语言模型，计算得到由语音数据A转化得到的文本是由人类书写而不是由机器生成的置信度，记作R₁；步骤S5，使用待训练的语音合成模型，把由语音数据A转化得到的文本B′，转化回语音数据A′；步骤S6，使用预先训练得到的语音语言模型，计算语音数据A′与原始的语音数据A之间的“重构相似度”，记作R₂；步骤S7，计算最终的“奖励”，记作R＝α×R₁+(1‑α)×R₂；α∈(0,1)；步骤S8，根据得到的最终“奖励”R，使用强化学习技术中的REINFORCE算法对待训练的语音识别模型和语音合成模型的参数进行更新；最后，回到步骤S1，把语音合成作为“主任务”，语音识别作为“对偶任务”，把接下来的步骤中的数据进行对称的交换，重复执行步骤S1～S8，直到语音识别模型和语音合成模型都收敛或达到程序停止条件。