[发明专利]基于对抗学习和分层神经网络的文本摘要生成系统和方法

权利要求书

1.一种基于对抗学习和分层神经网络的文本摘要生成系统，其特征在于，包括：判别器模块、预处理模块、词嵌入模块、句嵌入模块、生成模块和对抗学习模块，其中判别器模块用于对文本有效性进行判别，预处理模块用于将文本分词化并转化为独热编码one-hot向量，同时做分块处理；词嵌入模块用于利用双向长短记忆型神经网络对one-hot向量进行词编码处理，得到具有高表征的词编码并加入增强记忆矩阵与词编码做点积得到句向量；句嵌入模块利用双向长短记忆型神经网络对所得句向量进行句编码处理，得到具有高表征的句编码并加入增强记忆矩阵与句编码做点积得到文本向量；生成模块对所得文本向量进行解码操作并生成完整的文章摘要记为标准摘要；对抗学习模块对文本重新训练，使用传统的Seq2Seq模型，得到一个模糊表示；接着引入对抗学习，设置一个识别器将标准表示与模糊表示进行识别，调节参数λ缩小两者的距离，同时监督学习阻止他们接近，形成对抗，找到对抗平衡的λ时训练的文本摘要为最优结果。

2.根据权利要求1所述的一种基于对抗学习和分层神经网络的文本摘要生成系统，其特征在于，所述判别器模块对文本有效性进行判别具体包括：扫描文本，识别出时间，地点，事件的命名实体三元组，若三元组中任一元素为空，则判定为文本不完整，视为无效文本丢弃；否则将无效文本输入到所述词嵌入模块进行进一步处理。

3.根据权利要求1所述的一种基于对抗学习和分层神经网络的文本摘要生成系统，其特征在于，所述预处理模块将文本按句划分成n个数据块，对每个数据块做分词操作，并将每个词语初始化成独热编码的嵌入表示，记为w_ij，输入到词嵌入层，其中i表示第i句，j表示第i句中的第j个词。

4.一种基于权利要求1-3之一所述系统的文本摘要生成方法，其特征在于，包括以下步骤：

S1：扫描文本，通过NER命名实体识别技术识别文本的时间，地点，事件三元组，若三元组中任一元素为空，则认为该文本内容残缺，判定为无效文本并丢弃；

S2:将文本按句划分成n个数据块，对每个数据块做分词操作，并将每个词语初始化成one-hot编码的嵌入表示，记为w_ij，输入到词嵌入层，其中i表示第i句，j表示第i句中的第j个词；

S3：将每个数据块的句子进行词编码操作，使用双向长短记忆型神经网络对one-hot向量进行词编码处理，得到具有高表征的词编码；

S4：引入随机初始化的t个上下文矩阵u_wt，将其与S2所得的词编码做softmax操作，根据公式求出第t个词记忆矩阵，得到词记忆矩阵，其中L表示第L个分区，u_ij表示每个单词的新的词向量，对其所有的注意力矩阵做加权得到增强词记忆矩阵再将α和隐藏层的结果做点积并加权，生成具有高表征特性的句向量S_l，l表示第l个句向量；

S5：同理对上述所得句向量做句编码处理得到具有高表征的句编码并引入随机的句增强记忆矩阵，将其与上述所得到的句编码做softmax操作，生成具有高表征特性的文本向量T；

S6：将上述编码过程的最后一个状态即最后生成的文本向量T输入生成模块进行解码操作，生成文本摘要，记为标准表示；

S7：对文本重新训练，使用传统的Seq2Seq模型，得到一个模糊表示；

S8：引入对抗学习机制，引入可调节的权重参数λ，衡量解码器的监督强度，原文和摘要越相关，监督学习的强度越强，λ越大，训练识别器，将上述得到的模糊表示和标准表示进行判别，与此同时，监督学习一边缩小这两个表示的距离，使它们越来越相近，阻止识别器区分它们，所以当识别器可以区分两者时，降低λ，反之增加λ，最终得到合适的λ值，此时训练出的文本摘要为最优解。

5.根据权利要求4所述的文本摘要生成方法，其特征在于，分层神经网络具有以下特性：句子由单词组成，文本由句子组成，据此构建自下而上的分层结构，将传统的seq2seq模型的编码器层分解为词嵌入层和句嵌入层，并引入增强记忆机制，首先判断其是否是有效文本，若是有效文本，将文本输入序列分成若干个数据块分别处理，同时在解码过程中引入对抗学习。