[发明专利]一种抽取式文本摘要生成方法、装置、设备及存储介质

说明书

本申请实施例涉及文本处理技术领域，特别涉及一种抽取式文本摘要生成方法、装置、设备及存储介质。本申请将句子中有效的信息特征作为选择摘要句子的重要指标，然后通过遗传算法迭代训练的方式得到文本摘要，减少了需要通过训练得到文本摘要的开销，也提升了摘要生成的准确性和客观程度，在实践中具有更好的适用性。

技术领域

本申请实施例涉及文本处理技术领域，尤其涉及一种抽取式文本摘要生成方法、装置、设备及存储介质。

背景技术

在日常工作中，自动文本摘要是人们从冗长的文本中快速获得核心信息的重要方法，在很大程度上减少了人工生成摘要的精力开销。目前自动文本摘要主要可分为生成式摘要和抽取式摘要两大技术路线，前者通过神经网络直接将原始文本压缩为较短的文本序列，作为最后的文本摘要；但这类方法容易生成不符合语法和事实的词和短语，后者通过各种方法直接选择原始文本中的某些句子，形成文本摘要。

在自动文本摘要技术发展历程中，TextRank(基于图的用于关键词抽取和文档摘要的排序算法)是一种经典的方法。其通过给被压缩文本中的每个句子打分，将句子所得分数视为该句子权重，最后选择权重排名靠前的指定数量句子，形成最终的文本摘要。但其计算公式中的参数多为主观经验设置，在实践中难以达到理想效果。

近年来，也有不少学者提出了基于神经网络的抽取式文本摘要模型。NeuSUM(端到端的抽取式文本摘要模型)模型改变了在以往抽取式摘要中句子打分以及选择是独立的两个部分的现状，作者将打分以及选择联合在一起训练模型。REFRESH(基于强化学习的抽取式摘要)模型将文本摘要视为句子排序工作，并加入强化学习进行训练，其奖励值为ROUGE指标。但在实践中训练一个文本摘要模型需要大量GPU算力资源和耗费较多时间开销，限制了其应用范围。

发明内容

以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。

本公开实施例的主要目的在于提出一种抽取式文本摘要生成方法、装置、设备及存储介质，既减少了需要通过训练得到文本摘要的开销，也提升了摘要生成的准确性和客观程度。

为实现上述目的，本公开实施例的第一方面提出了一种抽取式文本摘要生成方法，所述抽取式文本摘要生成方法包括：

获取待处理文档中的所有句子；

分别提取每一个所述句子中的有效信息特征；

从所述所有句子中选取出所述有效信息特征较多的多个所述句子；

以所述多个所述句子作为遗传算法的输入数据，利用所述遗传算法进行运算，得到所述待处理文档的文本摘要。

在一些实施例中，所述有效信息特征包括：所述句子中词的词性类型、所述句子中的命名实体类型和句子中的句法成分类型。

在一些实施例中，所述从所述所有句子中选取出所述有效信息特征较多的多个所述句子，包括：

获取每一个所述句子中的词性类型的数量、命名实体类型的数量和句法成分类型的数量；

分别为所述句子的词性类型、命名实体类型和句法成分类型设置对应的权重值；

根据每一个所述句子的词性类型的数量、命名实体类型的数量、句法成分类型的数量及其对应的所述权重值进行加权和计算，得到每一个所述句子的有效信息量；

从所述所有句子中选取出所述有效信息量高于预设值的多个所述句子。

在一些实施例中，在所述以所述多个所述句子作为遗传算法的输入数据之前，所述抽取式文本摘要生成方法还包括：

将所述多个所述句子分为多个子集合，其中，每一个所述子集合中的任意两个所述句子之间的所述有效信息量的差值在设定范围内。