[发明专利]基于词细粒度的长文本摘要生成方法

说明书

本发明涉及的是基于词细粒度的长文本摘要生成方法，涉及信息处理技术领域，本发明结合了传统算法和深度学习算法来解决大数据条件下难以将文本转换为言简意赅的摘要的问题，方法包括以下步骤：将一篇原文本进行文本预处理；再将句子集合载入训练好的改进的NEZHA编码模型中；再将具有语义信息的句子向量载入TextRank算法当中，为每个句子进行排序打分，得到每个句子的重要性得分；最后利用改进的MMR算法过滤掉高耦合的句子，得到低相关高得分的摘要句子集合，即原文本的摘要；本发明不限制输入文本的字数，并从字、词语、句子多角度挖掘文本的内部信息，又考虑整个文本的结构特征以确保生成的摘要内容的质量、准确性以及可靠性。

技术领域

本发明涉及信息处理技术领域，具体为基于词细粒度的长文本摘要生成方法。

背景技术

如今，人们可以通过搜索引擎轻易的获取想要的相关信息，并且可以对信息进行整理写进自己的博客中，这促使信息变的更加丰富多样化、公开化以及个性化，然而人们需要花大量的时间从众多的相关信息中得到想要的内容。为了提高从海量信息中快速获取重要信息的效率，文本自动生成摘要成为了现信息处理技术研究的热点内容之一。

文本自动生成摘要的任务就是将给定的文档进行归纳总结，使总结的内容可以表达出文档的主体内容，且内容尽可能的简短。文本摘要生成的方式主要分为抽取式与生成式。抽取式生成的摘要是按照一定的规则从原文本的句子中提取重要的句子组成摘要内容，能保证句子语义与语法的正确性，但是在整体内容上缺少逻辑性。抽取式自动摘要生成所使用的方法主要基于特征提取、图排序以及传统机器学习方法。

近年来，随着深度学习的快速发展及其在各个领域的拓展，促使基于生成式自动摘要算法被相继提出，生成式摘要就是让计算机模仿人的思维在理解文档的基础上，用言简意赅的内容表达原文档的信息，逻辑性相对于抽取式更高。生成式摘要模型主要是以编码器-解码器模型为基线，Rush等人提出了基于窗口的摘要模型，编码器和生成模型都在句子摘要任务上进行联合训练。为了不增加解码器的规模，引入了注意力机制，Nallapati等人首次提出了基于注意力机制的生成摘要模型；See等人使用指针生成网络通过指针从原文中拷贝词，在保留生成新词的同时也能准确地复述原文。田珂珂等人在Transformer基础上改进，通过将编码器的参数共享到解码器中，使编码器成为解码器的一部分，同时使用门控网络对输入序列进行信息筛选，在摘要评分、训练速度和推理速度都得到提升。Peng等人使用LSTM和transformer组成双编码器获取更多语义，加上全局门控进一步筛选关键信息。随着BERT等一系列预训练模型的出现，预训练模型开始在自然语言理解领域取得优秀的成果。Zhang等人提出一种基于BERT的自然语言生成模型，在编码过程中充分利用预先训练好的模型，并设计两段式解码器，使在文本摘要上的效果更进一步。Zhang等7提出了一种新的自监督训练目标GSG，以适配Transformer-based的Encoder-Decoder模型在海量文本语料上预训练，结果表明，在多个文本摘要数据集上达到了与人工摘要相媲美的性能。Facebook在ACL2020上提出预训练Seq2Seq的去噪自编码器模型BART，BART模型中的文本填充方法让模型学习更多考虑句子的整体长度，并对输入进行更大范围的转换，从而将BERT中MLM和NSP目标统一起来，加大了模型学习难度。