[发明专利]使用网页标签聚类提取新闻网页内容的方法和系统

权利要求书

1.一种使用网页标签聚类提取新闻网页内容的方法，包括：

对网页内容进行预处理，包括将所述网页内容解析成DOM树和统计所述DOM树的各节点的信息；

启发式删除所述DOM树的节点；

规则式删除所述DOM树的节点；以及

基于标签结构聚类删除所述DOM树的节点，从而生成最终的DOM树以输出。

2.根据权利要求1所述的方法，其中，基于标签结构聚类删除所述DOM树的节点包括：

对经过启发式删除和规则式删除的所述DOM树的所有节点统计标签结构信息；

对所统计的标签结构信息进行相似聚类计算，从而获得多个类；

选取所述多个类中内容最大的类，并且将所选取的类中节点的共同父节点作为内容节点；以及

处理所述内容节点下的所有节点，以形成所述最终的DOM树。

3.根据权利要求1所述的方法，其中，所述方法进一步包括对所述网页内容进行精细处理。

4.根据权利要求2所述的方法，其中，对所统计的标签结构信息取MD5哈希，通过MD5值相同进行严格聚类。

5.根据权利要求1所述的方法，其中，所述信息包括：标点、符号数，字符数，链接数，图片数。

6.根据权利要求1所述的方法，其中，所述符号和字符数按链接分为：锚文本中的中文符号数，锚文本中的英文符号数，锚文本中的中文字数，锚文本中的英文字数；非锚文本中的中文符号数，非锚文本中的英文符号数，非锚文本中的中文字数，非锚文本中的英文字数。

7.根据权利要求1所述的方法，其中，规则式删除所述DOM树的节点包括：统计节点的链接数和非锚文本字符数的比值，如果所述比值大于阈值，则将该节点标记为可删除节点。

8.根据权利要求1所述的方法，其中，所述阈值基于本网页全局链接数和全局非锚文本字符数的比值或根据经验值。

9.一种使用网页标签聚类提取新闻网页内容的系统，包括：

预处理模块，用于对网页内容进行预处理，以将所述网页内容解析成DOM树并且统计所述DOM树的各节点的信息；

启发式删除模块，用于启发式删除与所述DOM树中指定的标签对象相对应的节点；

规则式删除模块，用于规则式删除链接数和非锚文本字符数的比值大于指定阈值的节点；以及

标签结构聚类删除模块，用于基于标签结构聚类删除节点。

10.根据权利要求9所述的系统，其中，所述系统进一步包括：

精细处理模块，用于对所述网页内容进行精细处理。