[发明专利]一种基于生成对抗网络的语言模型数据增强方法

说明书

本发明涉及一种基于生成对抗网络的语言模型数据增强方法，该方法包括：训练集S包含的都是正样本数据，生成模型G_θ生成的数据都是负样本数据，通过单独交替迭代训练生成模型G_θ和判别模型D_φ，迭代一定次数后，直到生成模型G_θ收敛，利用生成模型G_θ采样生成序列数据集合在上估计N元文法语言模型在训练数据集上估计N元文法语言模型最终通过插值算法得到增强的语言模型。针对现有技术中语言模型数据增强方法的存在的暴露偏差问题，本发明可以在一定程度上缓解暴露偏差问题，提高生成文本数据的质量，进而提高语言模型的性能，还可以有效提升低资源条件下N元文法语言模型的性能，以及相应语音识别系统的性能。

技术领域

本发明涉及语音识别和自然语言处理领域，特别涉及一种基于生成对抗网络的语言模型数据增强方法。

背景技术

语言模型(Language model,LM)是描述词序列概率分布的数学模型，其广泛应用于语音识别(Automatic speech recognition,ASR)、机器翻译、分词、词性标注等自然语言处理任务中。

N元文法语言模型(N-gram LM)是一种常用的统计语言模型。由于实际自然语言中词汇组合的多样性，利用有限数据训练得到的N元文法语言模型不可避免的存在数据稀疏(Data sparsity)问题，即由于训练数据不充足，N元文法语言模型无法鲁棒地估计某些不常见文法的概率值。数据增强(Data augmentation)是一种有效缓解数据稀疏问题的方法。就语言模型建模任务而言，常见的数据增强方法包括基于外部数据的方法和基于递归神经网络(Recurrent neural network,RNN)随机采样的方法。前者按照一定的规则从其他来源(如互联网)的数据中挑选部分数据扩充训练集，后者则是利用训练好的RNN模型随机生成词序列以丰富训练集中包含的语言现象。

在难以获取领域相关的外部数据的情况下，基于RNN模型随机采样的数据增强方法可以有效提升N元文法语言模型参数估计的鲁棒性。该方法将RNN模型作为一个生成模型，随机生成词序列。现有的序列生成模型均采用最大似然估计(Maximum likelihoodestimation,MLE)算法估计模型参数。然而，MLE方法会使得生成模型在生成采样序列的过程中会遇到暴露偏差(Exposure bias)问题。即在生成下一个词汇时，如果所依赖的历史序列(即已生成的词序列)未在训练数据中出现，偏差则会在序列生成过程中逐渐累积，最终导致生成的词序列缺乏长时语义信息，进而限制了数据增强技术对语言模型及相关系统所带来的性能提升。

发明内容

本发明的目的在于，克服现有语言模型数据增强方法的存在的暴露偏差问题、提高生成文本数据的质量，进而提高语言模型的性能，从而提供一种基于生成对抗网络的语言模型数据增强方法。

为了解决上述技术问题，本发明实施例提供一种基于生成对抗网络的语言模型数据增强方法，包括：

步骤1，建立生成模型G_θ和判别模型D_φ；

步骤2，获取包含语言序列数据的训练集S，在所述训练集上利用MLE算法对生成模型G_θ进行预训练；

步骤3，利用生成模型G_θ生成m个采样序列作为负样本，从所述训练集中随机抽取m个序列作为正样本，组合所述负样本与正样本作为训练数据对判别模型D_φ进行预训练；

步骤4，利用生成模型G_θ生成n个采样序列，并用判别模型D_φ对所述n个采样序列进行判别；

步骤5，利用当前的生成模型G_θ生成n个负样本序列，从训练集S中随机抽取n 个正样本序列，组合所述n个负样本与正样本作为判别模型D_φ的训练数据；