[发明专利]一种基于生成对抗网络的语言模型数据增强方法

权利要求书

1.一种基于生成对抗网络的语言模型数据增强方法，其特征在于，包括：

步骤1，建立生成模型G_θ和判别模型D_φ；

步骤2，获取包含语言序列数据的训练集S，在所述训练集上利用MLE算法对生成模型G_θ进行预训练；

步骤3，利用生成模型G_θ生成m个采样序列作为负样本，从所述训练集中随机抽取m个序列作为正样本，组合所述负样本与正样本作为训练数据对判别模型D_φ进行预训练；

步骤4，利用生成模型G_θ生成n个采样序列，并用判别模型D_φ对所述n个采样序列进行判别；

步骤5，利用当前的生成模型G_θ生成n个负样本序列，从训练集S中随机抽取n个正样本序列，组合所述n个负样本与正样本作为判别模型D_φ的训练数据；

步骤6，重复执行步骤4和5，直到生成模型G_θ收敛；

步骤7，利用生成模型G_θ采样生成序列数据集合在上估计N元文法语言模型在训练集S上估计N元文法语言模型通过插值算法得到增强的语言模型。

2.如权利要求1所述的方法，其特征在于，所述生成模型G_θ和判别模型D_φ均采用神经网络结构，G_θ与D_φ的参数采用Adam随机梯度下降算法更新。

3.如权利要求1所述的方法，其特征在于，利用MLE算法对生成模型G_θ进行预训练包括：最大化给定训练序列的对数概率；

其中，x_1：T表示词序列x₁，x₂，...，x_T，x_t表示序列中第t个词。

4.如权利要求1所述的方法，其特征在于，所述步骤3包括：

利用Adam算法最大化以下目标函数：

公式一

式中，x_1：T表示从训练集中抽取的正样本，y_1：T表示生成模型G_θ生成的负样本，表示对m个正/负样本取期望，log()表示取对数，D_φ(y_1：T)表示输入序列y_1：T的得分。

5.如权利要求1所述的方法，其特征在于，所述步骤4包括：

利用Adam算法最大化以下目标函数：

公式二

式中，y_1：T表示生成模型G_θ生成的负样本，表示对n个采样序列取期望，G_θ(y_1：T)表示生成模型G_θ生成序列y_1：T的概率，D_φ(y_1：T)表示生成序列y_1：T的得分。

6.如权利要求1所述的方法，其特征在于，所述步骤5包括：利用Adam算法最大化以下目标函数：

公式一

式中，x_1：T表示从训练集中抽取的正样本，y_1：T表示生成模型G_θ生成的负样本，表示对n个正/负样本取期望，log()表示取对数，D_φ(y_1：T)表示输入序列y_1：T的得分。

7.如权利要求1所述的方法，其特征在于，通过插值算法得到增强的语言模型： 公式三

其中λ表示插值系数。