[发明专利]使用网页标签聚类提取新闻网页内容的方法和系统

说明书

技术领域

本发明总体地涉及新闻网页内容提取领域，更具体地说，本发明涉及一种使用网页标签聚类提取新闻网页内容的方法和系统。

背景技术

在新闻(或者资讯)搜索领域，新闻正文提取是必不可少的环节，其正文提取的质量高低决定了新闻搜索的质量和用户体验。

目前新闻正文提取方法各式各样，按是否使用模板的方式分为两大类：基于模板(或包装器)方式提取和基于非模板方式提取。

在基于模板方式提取中，首先定义模板，然后编写程序解析执行模板得到数据。根据模板生成方式又可分为：人工模板提取和自动模板提取。在人工模板提取中，针对提取的目标站点，人工手工编写模板，模板可以是正则匹配方式，也可以是简单的字符串匹配首位匹配方式。在自动模板提取中，利用机器学习算法，先从目标网站获取一部分网页数据进行学习训练，获取模板，然后程序利用模板提取数据。

非模板方式提取大多基于统计和学习方式来实现。目前主要的算法有基于规则的、基于分块的、基于视觉的等。比较有代表性的是微软的基于视觉的页面分割算法，经过页面块提取，分隔条提取以及语义块重构3步，确定网页的主要语义块。

人工编写模板方式的缺点是需要耗费巨大人力资源来撰写模板，并且随着目标网站的变化，维护模板的成本也非常大。自动模板方式的缺点是算法复杂，同时也需要对目标网站周期监控，以维护模板的变化。无论是人工还是自动产生模板，其假设网站的数据是通过模板产生，一些大型的网站基本问题不大，也就是不同的入口可能模板不同，但对众多的中小网站而言，其模板化不是很好，利用模板提取只能提取大部分的信息，有较多的机会包含垃圾信息。

基于视觉的页面分割算法由于规则复杂，性能不高，不太适合新闻搜索引擎的应用。

因此，需要一种有效提取新闻网页内容的方法。

发明内容

为了解决现有技术中的上述缺点和问题而提出本发明。本发明针对新闻网页内容提取技术的不足，设计基于标签聚类的算法来提取新闻内容，避免人工规则及其模板的弊端。

根据本发明的一个方面，提供了一种使用网页标签聚类提取新闻网页内容的方法，包括：对网页内容进行预处理，包括将所述网页内容解析成DOM树和统计所述DOM树的各节点的信息；启发式删除所述DOM树的节点；规则式删除所述DOM树的节点；以及基于标签结构聚类删除所述DOM树的节点，从而生成最终的DOM树以输出。

在所述方法中，基于标签结构聚类删除所述DOM树的节点可以包括：对经过启发式删除和规则式删除的所述DOM树的所有节点统计标签结构信息；对所统计的标签结构信息进行相似聚类计算，从而获得多个类；选取所述多个类中内容最大的类，并且将所选取的类中节点的共同父节点作为内容节点；以及根据所述内容节点，处理所有其它节点，以形成所述最终的DOM树。

所述方法可以进一步包括对所述网页内容进行精细处理。

所述方法可以包括对所统计的标签结构信息取MD5哈希，通过MD5值相同进行严格聚类。

所述信息包括：标点、符号数，字符数，链接数，图片数。并且所述符号和字符数按链接分为：锚文本中的中文符号数，锚文本中的英文符号数，锚文本中的中文字数，锚文本中的英文字数；非锚文本中的中文符号数，非锚文本中的英文符号数，非锚文本中的中文字数，非锚文本中的英文字数。

在所述方法中，规则式删除所述DOM树的节点可以包括：统计节点的链接数和非锚文本字符数的比值，如果所述比值大于阈值，则将该节点标记为可删除节点。所述阈值基于本网页全局链接数和全局非锚文本字符数的比值或根据经验值。

根据本发明的另一个方面，提供了一种使用网页标签聚类提取新闻网页内容的系统，包括：预处理模块，用于对网页内容进行预处理，以将所述网页内容解析成DOM树并且统计所述DOM树的各节点的信息；启发式删除模块，用于启发式删除与所述DOM树中指定的标签对象相对应的节点；规则式删除模块，用于规则式删除链接数和非锚文本字符数的比值大于指定阈值的节点；以及标签结构聚类删除模块，用于基于标签结构聚类删除节点。

所述系统可以进一步包括：精细处理模块，用于对所述网页内容进行精细处理。

附图说明

通过下面结合附图进行的描述，本发明一些示范性实施例的上述和其他方面、特征和优点对于本领域技术人员来说将变得显而易见，其中：

图1是示出根据本发明一个示范性实施例的提取新闻网页内容的方法的流程图；

图2是示出根据本发明一个示范性实施例的基于标签结构聚类删除节点的过程的流程图；以及