[发明专利]一种基于生成对抗网络的中文摘要生成方法和装置

权利要求书

1.一种基于生成对抗网络的中文摘要生成方法，其特征在于，包括以下步骤：

1)通过对给定的中文数据集进行预处理操作形成训练集；

2)构建基于生成对抗网络的中文摘要生成模型，并使用训练集对中文摘要生成模型进行训练；所述基于生成对抗网络的中文摘要生成模型包括生成器和判别器；所述生成器是典型的seq2seq框架并加入Attention机制，用来根据输入文本生成摘要，其中编码器使用GRU单元，解码器使用Attention模型；所述判别器使用3个LSTMs，其中两个LSTMs分别对文本和摘要提取特征求共享参数，最后一个LSTMs根据文本摘要的特征对其分类，判别该文本摘要对是人工摘要还是生成摘要；所述生成器的目标是使生成的摘要让判别器无法区分，所述判别器的目标是尽可能区分生成摘要和人工摘要；

3)将待生成摘要的中文文本输入到训练完毕的中文摘要生成模型，得到对应的摘要。

2.根据权利要求1所述的方法，其特征在于，步骤1)所述预处理包括：

1.1)将给定的中文数据集的文本和摘要一一对应，形成文本摘要对；

1.2)同时对文本和摘要去除特殊字符、表情符、全角字符；

1.3)将步骤1.2)得到的数据集，使用“TAGURL”替换所有超链接URL，使用“TAGDATA”替换所有日期，使用“TAGNUM”替换所有数字，使用“TAGPUN”替换所有标点符号；

1.4)将1.3)得到的数据按字切开，并使用停用字典过滤停用词；

1.5)将文本摘要对一一对应地同时混洗，并按比例切分成训练集、验证集和测试集；

1.6)根据训练数据集构建一定长度的字典，并将文本和摘要中的字没有出现在字典中的表示成“UNK”，在文档开始添加标记“BOS”，结束添加“EOS”，将文本和摘要分别处理成固定长度，多余的字直接截断，小于长度的用占位符“PAD”填充；

1.7)将文本摘要数据集中的每个字用一个固定维度k的字向量表示，包括步骤1.6)中的标记。

3.根据权利要求1所述的方法，其特征在于，所述生成器中的编码器使用卷积神经网络结构代替；所述判别器中的LSTMs使用GRU单元或者卷积神经网络结构代替。

4.根据权利要求1所述的方法，其特征在于，所述生成器的设置如下：

a)在编码阶段，将当前时刻t输入的文本字向量表示为x_t，上一时刻的隐层输出记为h_t-1，那么当前时刻的隐层输出为h_t＝f(h_t-1,x_t)；

b)在解码阶段，根据文本输入和前i-1个字的信息来生成第i个字，将其表示为条件概率其中s_i是解码器生成第i个字的隐藏状态，其计算公式是：c_i是y_i对应的上下文向量，根据Encoder阶段的隐藏向量(h₁,…,h_n)序列加权求和，其计算公式是：α_ij表示第i个输出在第j个输入上分配的注意力。

5.根据权利要求1所述的方法，其特征在于，步骤2)所述基于生成对抗网络的中文摘要生成模型的训练过程包括：

2.1)将训练集的文本输入到生成器，预训练生成器；

2.2)预训练判别器：使用生成器生成k/2个文本摘要对，并同时从人工文本摘要对随机采样得到k/2个，将k个文本输入到第一个LSTMs中，得到k个文本隐变量列表；将k个摘要输入到第二个LSTMs中，得到k个摘要隐变量列表；将一一对应的k个文本和摘要隐变量，成对输入到第三个LSTMs中，最后经过softmax层，输出类标签，0表示机器生成，1表示人工摘要；

2.3)训练判别器；

2.4)训练生成器；

2.5)重复步骤2.3)和2.4)多次，使用验证集评测模型；

2.6)重复步骤2.3)至2.5)，直至模型在训练集上收敛且在验证集上最优。