[发明专利]一种用于文本摘要的生成方法和系统

说明书

本发明给出了一种用于文本摘要的生成方法和系统，包括对待处理文本进行预处理，其中，预处理包括去除待处理文本的html标签；基于TF‑IDF统计方法，获取待处理文本中文本单元的权重；利用ilp算法计算、submodular算法和centroid算法分别计算获得待处理文本的第一文本摘要、第二文本摘要和第三文本摘要；基于深度卷积网络学习模型，获取待处理文本的第四文本摘要；响应于文本单元中含有预先建立的摘要词库中的词汇，获取第五文本摘要；将第一文本摘要、第二文本摘要、第三文本摘要、第四文本摘要和第五文本摘要进行加权计算，获取待处理文本的文本摘要。本发明在实际应用中，对文本摘要的获取取得了非常好的效果,准确率非常高。

技术领域

本发明属于人工智能和自然语言处理技术领域，尤其涉及一种用于文本摘要的生成方法和系统。

背景技术

随着信息时代的迅猛发展，当今世界的信息量呈现出了几何级别的增长速度。信息爆炸使得人们要面对海量的信息，从海量信息中智能、快速的获取摘要信息成为了一项重要技术课题。

在文本摘要中，或者采用抽取式方式，或者采用生成式方式，或者抽取文本中的文本单元，或者用机器生成对文本的归纳摘要，来获取文本摘要。但无论采用抽取式，或者采用生成式，来获取文本摘要，都存在着不尽人意的地方。

采用抽取式方式来获取文本摘要，抽取出的摘要精度不够高。抽取出的内容具有片面性，不能准确地抽出关键内容。

采用生成式方式来获取文本摘要，有训练数据不足，训练输入内容过长，得到的生成内容意思晦涩，得到的生成内容语法不准确等问题。

因此在传统的文本摘要获取中，存在着有待解决的问题。

发明内容

本发明提出了一种用于文本摘要的生成方法和系统。

在一个方面，本发明提出了一种用于文本摘要的生成方法，包括以下步骤：

S1：对待处理文本进行预处理，其中，预处理包括去除待处理文本的html标签以及对待处理文本进行分词处理；

S2：基于TF-IDF统计方法，获取待处理文本中文本单元的权重；

S3：利用ilp算法、submodular算法和centroid算法分别计算获得待处理文本的第一文本摘要、第二文本摘要和第三文本摘要；基于深度卷积网络学习模型，获取待处理文本的第四文本摘要；响应于文本单元中含有预先建立的摘要词库中的词汇，获取第五文本摘要；

S4：将第一文本摘要、第二文本摘要、第三文本摘要、第四文本摘要和第五文本摘要进行加权计算，获取待处理文本的文本摘要。

在具体的实施例中，TF-IDF的计算公式如下：TF-IDF＝TF*IDF，其中TF表示词频，即某个词在文本中出现次数，IDF表示逆文档频率，具体计算为采用TF-IDF可以评估字词对于一个文件集或一个语料库中的其中一份文件的重要程度。

在具体的实施例中，步骤S2中利用ilp算法获得第一文本摘要的具体方式为：对待处理文本进行概念抽取，利用带有约束的优化解进行计算，进而获得第一文本摘要，具体计算公式如下：

其中，x_i表示待处理文本的概念，s(x_i)表示概念的权值函数，表示概念是否出现在文本摘要中，d_j表示抽取的单元，n(d_j)表示d_j中的单词个数，表示抽取单元是否在文本摘要中，R表示文本摘要的长度约束，b(i，j)为二元常量，表示x_i是否出现在d_j中，sim表示计算冗余度度量，δ表示冗余门槛值。