[发明专利]一种基于生成对抗网络的语法错误纠正方法

权利要求书

1.一种基于生成对抗网络的语法错误纠正方法，其特征在于：使用生成对抗网络进行语法错误纠正，所述生成对抗网络包括生成器G_θ与鉴别器D_φ两部分，生成器G_θ将语法错误的句子翻译成语法正确的重写句子，鉴别器D_φ评估生成器G_θ对错误输入的句子进行词汇相似、语义保留和语法进行正确重写的概率。

2.根据权利要求1所述的一种基于生成对抗网络的语法错误纠正方法，其特征在于：所述生成对抗网络的生成方法为：包括下列步骤：

S1、使用随机权重θ、φ初始化生成器G_θ、鉴别器D_φ；

S2、采用最大似然估计方法MLE，利用真实数据D＝(X,Y)对生成器G_θ进行预训练，其中，真实数据D＝(X,Y)为正确的纠正例，X为原始输入句子，Y为纠正后的句子；

S3、使用生成器G_θ生成负面样本D'＝(X,Y')，并用来训练鉴别器D_φ；

S4、在真实数据D和负面样本D'上预训练鉴别器D_φ，直到达到交叉熵损失BCE的初始精度；

S5、开始对抗训练，直到此生成对抗网络收敛。

3.根据权利要求2所述的一种基于生成对抗网络的语法错误纠正方法，其特征在于：所述S1中的生成器G_θ采用添加注意机制的循环神经网络RNN，所述鉴别器D_φ采用卷积神经网络CNN。

4.根据权利要求2所述的一种基于生成对抗网络的语法错误纠正方法，其特征在于：所述S5中生对抗训练的方法为：包括下列步骤：

S5.1、输入(X,Y)～P_data,Y'～G_θ(·|X),ρ～[0,1],λ～[0.2,0.8]，其中，ρ和λ是用来控制交替训练的参数，所述交替训练采用最大似然估计与梯度下降策略；

S5.2、如果ρ≤λ：使用鉴别器D_φ计算(X,Y')的奖励R，并利用奖励R通过梯度策略更新生成器G_θ

如果ρλ：使用最大似然估计方法更新生成器G_θ；

S5.3、根据下面的目标函数和梯度下降方法在(X,Y)和(X,Y')上训练鉴别器D_φ：

其中，为鉴别器D_φ的目标函数，所述目标函数采用标准二元交叉熵损失，P_data为训练数据的分布，为生成器G_θ输出的分布；

S5.4、重复步骤S5.1-S5.3，直到此生成对抗网络收敛。

5.根据权利要求4所述的一种基于生成对抗网络的语法错误纠正方法，其特征在于：所述生成器G_θ与鉴别器D_φ更新参数的方法为：

其中：θ为生成器G_θ的参数，α_g为生成器的学习率；

其中：φ为鉴别器D_φ的参数，α_d为鉴别器的学习率。