[发明专利]基于句子特征分数加权的抽取式文本摘要生成方法及装置

说明书

本发明公开了一种基于句子特征分数加权的抽取式文本摘要生成方法及装置，通过在句子打分式基础模型得到的基础模型分数增加标题词汇特征、首句特征和句长特征，采用句子打分式基础模型计算出主题集中句子i的基础模型分数S_i，基于标题词表中词汇的个数以及句子i中出现标题词表中的词汇的个数计算得到标题词汇特征分数F_h，响应于句子i为首句得到首句特征分数F_f，基于平均长度与句子i的长度计算得到句长特征分数F_l。最后将基础模型分数S_i、标题词汇特征分数F_h、首句特征分数F_f、句长特征分数F_l相乘得到句子分数，重复上述步骤获得所有句子的句子分数并以在所述主题集中提取出目标摘要。本发明可以明显提高模型的性能，增加文本摘要抽取的准确性。

技术领域

本发明涉及文档摘要提取领域，具体涉及一种基于句子特征分数加权的抽取式文本摘要生成方法及装置。

背景技术

当代的网络背景下，人们接收信息的途径越来越多，接收信息的数量也随之变得庞大。对于新闻报告类题材来说，同一事件有可能由多家媒体机构报道发布，而这些报道除了措辞之外，在信息上多数只有事件不同方面细节程度的差别。对于读者来说，面对庞杂的信息，高效获取更为全面信息的诉求愈发突出。抽取式自动多文档文本摘要则是一种从同一主题的多个文档中直接抽取包含主要信息的句子而形成一篇摘要性文档的任务。

文档文本摘要任务所需的数据集一般是包含单个或多个主题的文档所组成的数据集。将相同主题的多个文档整理成一个主题集，即每个主题集中包含多个同一主题的文档。数据集中的主题个数与主题集的数量一致。多文档文本摘要任务的目标是将每个主题集各生成一篇摘要。目前主要由句子打分式模型(如TextRank，各类神经网络等)计算出的每个句子的分数。句子打分式模型是根据句子包含的信息量、重要程度等维度对每一个句子进行的打分，这些句子的模型分数经过排序后可以作为抽取的标准，分数达到标准的对应句子将被抽出组成目标生成的摘要文档。现有的抽取式自动多文档文本摘要方法中在文本特征表示和算法模型上进行了大量的探索和实践，但较少细节地针对特定文体特点进行特征提取尝试，导致抽取的摘要文本准确度低、模型性能较差。

发明内容

针对上述提到的直接由句子打分式模型抽取摘要准确度低、模型性能较差等问题。本申请的实施例的目的在于提出了一种基于句子特征分数加权的抽取式文本摘要生成方法及装置，来解决以上背景技术部分提到的技术问题。

第一方面，本申请的实施例提供了一种基于句子特征分数加权的抽取式文本摘要生成方法，包括以下步骤：

S1，获取主题集中各个文档标题的词汇频率和所有句子的平均长度，基于词汇频率得到标题词表，其中主题集中包括多个同一主题的文档；

S2，采用句子打分式基础模型计算出主题集中句子i的基础模型分数S_i，基于标题词表中词汇的个数以及句子i中出现标题词表中的词汇的个数计算得到标题词汇特征分数F_h，响应于句子i为首句得到首句特征分数F_f，基于平均长度与句子i的长度计算得到句长特征分数F_l；

S3，将基础模型分数S_i、标题词汇特征分数F_h、首句特征分数F_f、句长特征分数F_l相乘得到句子i的句子分数Score_i；

S4，重复步骤S2-S3得到主题集中所有句子的句子分数，并基于句子分数在主题集中提取出目标摘要。

在一些实施例中，步骤S1中基于词汇频率得到标题词表，具体包括：提取词汇频率超过预设频率阈值的词汇组成标题词表。

在一些实施例中，步骤S2中句子打分式基础模型为基于神经网络的句子打分模型。