[发明专利]一种基于生成对抗网络的语言模型数据增强方法

摘要

本发明涉及一种基于生成对抗网络的语言模型数据增强方法，该方法包括：训练集S包含的都是正样本数据，生成模型Gθ生成的数据都是负样本数据，通过单独交替迭代训练生成模型Gθ和判别模型Dφ，迭代一定次数后，直到生成模型Gθ收敛，利用生成模型Gθ采样生成序列数据集合在上估计N元文法语言模型在训练数据集上估计N元文法语言模型最终通过插值算法得到增强的语言模型。针对现有技术中语言模型数据增强方法的存在的暴露偏差问题，本发明可以在一定程度上缓解暴露偏差问题，提高生成文本数据的质量，进而提高语言模型的性能，还可以有效提升低资源条件下N元文法语言模型的性能，以及相应语音识别系统的性能。

主权项

1.一种基于生成对抗网络的语言模型数据增强方法，其特征在于，包括：步骤1，建立生成模型G_θ和判别模型D_φ；步骤2，获取包含语言序列数据的训练集S，在所述训练集上利用MLE算法对生成模型G_θ进行预训练；步骤3，利用生成模型G_θ生成m个采样序列作为负样本，从所述训练集中随机抽取m个序列作为正样本，组合所述负样本与正样本作为训练数据对判别模型D_φ进行预训练；步骤4，利用生成模型G_θ生成n个采样序列，并用判别模型D_φ对所述n个采样序列进行判别；步骤5，利用当前的生成模型G_θ生成n个负样本序列，从训练集S中随机抽取n个正样本序列，组合所述n个负样本与正样本作为判别模型D_φ的训练数据；步骤6，重复执行步骤4和5，直到生成模型G_θ收敛；步骤7，利用生成模型G_θ采样生成序列数据集合在上估计N元文法语言模型在训练数据集S上估计N元文法语言模型通过插值算法得到增强的语言模型。