[发明专利]一种基于WEB文档的自动摘要方法

说明书

技术领域

本发明涉及文本处理技术领域，具体涉及一种基于WEB文档的自动摘要方法。

背景技术

在文本处理技术领域，如何在海量的WEB信息中快速而又准确地获取信息成为当前的研究热点，为了有效的提高信息获取效率，文档自动摘要技术的研究应运而生，并且得到了广泛的关注。它能够将繁杂、冗长的文档内容用简洁、明了的语言概括出来，对信息的快速甄别进而获取信息带来了很大的帮助。目前已有的文档自动摘要方法主要侧重于基于句子抽取的方法，形成的摘要还较粗糙，不能为用户提供简洁的文档内容概要，用户获取信息的效率较低。

发明内容

针对现有技术存在的不足，本发明目的是提供一种基于WEB文档的自动摘要方法，能够分析WEB文档信息，给用户提供简洁的、信息全面的页面内容的概要，以提高用户获取信息的效率。

为了实现上述目的，本发明是通过如下的技术方案来实现：

本发明的一种基于WEB文档的自动摘要方法，具体包括以下几个步骤：

(1)利用Html文档对象模型标签树抓取WEB文档正文信息；

(2)对抓取的WEB文档正文信息进行分块、分句；

(3)对抓取的WEB文档正文信息，依据关键词库进行分词，分词后去除无意义的非关键词，并将网络新词及专业词语扩充到关键词库，对于网络上已停用的非关键词，扩充到非关键词库；

(4)计算分词权值和分句、分块权值；

(5)根据摘要精细程度，选择分块、分句的个数，最后从中选出权值最高的几个分块、分句形成文档摘要信息。

步骤(1)中，利用Html文档对象模型标签树抓取WEB文档正文信息具体步骤如下：Html文档对象模型通过解析器载入整个Html文档内容，根据Html文档对象模型的嵌套关系，将Html文档中嵌套标签解析成一个节点树，在内存中构建对象集合，通过Html文档对象模型标签树的遍历获取WEB文档正文信息。

Html文档内容包含以下信息：(1a)正文：即网页要发布的主体内容；(2a)页面的附带信息；(3a)HTML标记。

步骤(2)中，对抓取的WEB文档正文信息进行分块、分句方法如下：如果Html文档内容有<p>标签来展示文档段落，则根据<p>标签抓取元素，实现分块，采用分块模式；如果Html文档内容没有<p>标签，则采用分句模式，即将文档按句尾标点符号进行分割。

步骤(3)中，所述分词的过程具体如下：载入所述关键词库，预先把带有明显特征的词切分出来，所述明显特征的词指WEB文档正文标题和正文每一段的第一句中的关键词，并将WEB文档正文信息依照切分出的词分成几个小段，再基于反向最长匹配策略进行机械分词，并将网络新词及专业词语扩充到关键词库，完成关键词库的动态更新。

上述反向最长匹配策略具体方法如下：将WEB文档内容逐一与关键词库中的词条进行匹配，匹配成功的标准是在关键词库中找到某个词条，即完成对WEB文档中某个关键词的识别。

步骤(4)中，分词权值的计算方法如下：分词去除非关键词后，按词频计算单个分词的权值，并对带明显特征的分词的权值重新进行修正，修正方法为：带明显特征的分词权值增加n,其中，n为除带明显特征外的关键词的最大权值。

步骤(4)中，分句、分块权值的计算方法如下：根据分词权值，再加权计算分句或分块中所包含关键词的权值，作为分句、分块权值，加权计算方法为：设分句、分块K的权值为Q(K)，其中，包含m个关键词，每个关键词出现的次数为n，每个关键词的权值为q(i)，则Q(K)满足关系：Q(K)=Σi=1mn*q(i).]]>