[发明专利]一种基于WEB文档的自动摘要方法

权利要求书

1.一种基于WEB文档的自动摘要方法，其特征在于，具体包括以下几个步骤：

(1)利用Html文档对象模型标签树抓取WEB文档正文信息；

(2)对抓取的WEB文档正文信息进行分块、分句；

(3)对抓取的WEB文档正文信息，依据关键词库进行分词，分词后去除无意义的非关键词，并将网络新词及专业词语扩充到关键词库，对于网络上已停用的非关键词，扩充到非关键词库；

(4)计算分词权值和分句、分块权值；

(5)根据摘要精细程度，选择分块、分句的个数，最后从中选出权值最高的几个分块、分句形成文档摘要信息。

2.根据权利要求1所述的基于WEB文档的自动摘要方法，其特征在于，步骤(1)中，利用Html文档对象模型标签树抓取WEB文档正文信息具体步骤如下：

Html文档对象模型通过解析器载入整个Html文档内容，根据Html文档对象模型的嵌套关系，将Html文档中嵌套标签解析成一个节点树，在内存中构建对象集合，通过Html文档对象模型标签树的遍历获取WEB文档正文信息。

3.根据权利要求2所述的基于WEB文档的自动摘要方法，其特征在于，Html文档内容包含以下信息：

(1a)正文：即网页要发布的主体内容；

(2a)页面的附带信息；

(3a)HTML标记。

4.根据权利要求1所述的基于WEB文档的自动摘要方法，其特征在于，步骤(2)中，对抓取的WEB文档正文信息进行分块、分句方法如下：

如果Html文档内容有<p>标签来展示文档段落，则根据<p>标签抓取元素，实现分块，采用分块模式；

如果Html文档内容没有<p>标签，则采用分句模式，即将文档按句尾标点符号进行分割。

5.根据权利要求1所述的基于WEB文档的自动摘要方法，其特征在于，步骤(3)中，所述分词的过程具体如下：

载入所述关键词库，预先把带有明显特征的词切分出来，所述明显特征的词指WEB文档正文标题和正文每一段的第一句中的关键词，并将WEB文档正文信息依照切分出的词分成几个小段，再基于反向最长匹配策略进行机械分词，并将网络新词及专业词语扩充到关键词库，完成关键词库的动态更新。

6.根据权利要求5所述的基于WEB文档的自动摘要方法，其特征在于，所述反向最长匹配策略具体方法如下：

将WEB文档内容逐一与关键词库中的词条进行匹配，匹配成功的标准是在关键词库中找到某个词条，即完成对WEB文档中某个关键词的识别。

7.根据权利要求1所述的基于WEB文档的自动摘要方法，其特征在于，步骤(4)中，分词权值的计算方法如下：

分词去除非关键词后，按词频计算单个分词的权值，并对带明显特征的分词的权值重新进行修正，修正方法为：带明显特征的分词权值增加n,其中，n为除带明显特征外的关键词的最大权值。

8.根据权利要求7所述的基于WEB文档的自动摘要方法，其特征在于，步骤(4)中，分句、分块权值的计算方法如下：

根据分词权值，再加权计算分句或分块中所包含关键词的权值，作为分句、分块权值，加权计算方法为：设分句、分块K的权值为Q(K)，其中，包含m个关键词，每个关键词出现的次数为n，每个关键词的权值为q(i)，则Q(K)满足关系：

9.根据权利要求1所述的基于WEB文档的自动摘要方法，其特征在于，步骤(5)中，所述摘要精细程度作为系统的基本参数进行定义，设系统定义的总级数为K，系统选择的级数为N，如果采用分句模式，则统计WEB文档的句子总数，记为L，则选择的分句总个数为如果采用分块模式，则统计WEB文档的总块数，记为M，则选择的分块总个数为

10.根据权利要求1所述的基于WEB文档的自动摘要方法，其特征在于，步骤(5)中，采用jQuery编程技术，以一个统一资源定位符URL作为信息来源,实现网页截图，再将生成的摘要信息与原始的网页截图进行对照，用来衡量摘要是否概括了原网页的主要内容。