[发明专利]一种基于网页聚类的正文信息提取方法

摘要

本发明涉及一种基于网页聚类的正文信息提取方法，将网站级别与网页级别相结合，通过网站级别的网页聚类来实现平滑网页之间的差距，再利用网页分块和节点的密度特征来确定该类网页正文的位置，并提取相应的抽取规则。本发明可以有效的提高网页正文内容提取的准确率。

主权项

一种基于网页聚类的正文信息提取方法，其特征在于：包括以下步骤：步骤S1：爬取输入url集合对应的网页，去除HTML网页中的脚本、注释、样式标签，并将每个网页解析成一颗DOM树；步骤S2：给定网页对应的DOM树，遍历DOM树提取网页结构特征；通过结构特征计算网页之间的相似度；根据网页之间的相似度对网页集合进行聚类；最后生成一系列的标记类集合，以及每个标记类的网页特征；步骤S3：针对同一类网页，对网页进行切割分块，统计各个块的节点密度特征，寻找包含正文内容并且不包含噪声信息的块，并提取该块的特征作为该类网页中内容块的提取规则；步骤S4：将每个标记类中的网页通过提取规则抽取出内容；针对相同来源的新的网页也通过标记类的网页特征来确定网页所属的标记类，然后根据该标记类网页的抽取规则来进行内容的抽取。