[发明专利]提取网页正文的方法和装置

说明书

本发明公开了一种提取网页正文的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：根据待提取网页构建访问模型；计算主体部分的各单位区域与特征部分的相似值；根据相似值和各单位区域的第一指标值，从访问模型中筛选单位正文区域；根据单位正文区域确定待提取网页的正文的开头和结尾，以得到待提取网页的完整正文。该实施方式能够准确完整的提取出网页正文，降低了人工成本，提高了提取网页正文的效率。

技术领域

本发明涉及计算机技术领域，尤其涉及一种提取网页正文的方法和装置。

背景技术

随着社会的快速发展，互联网逐渐成为信息发布和获取的主要平台，其上数据一直呈几何级数增长。互联网数据已覆盖经济、政治、文化等现实世界的各个领域，构成很多应用的重要信息来源。但是网页的内容除了人们需要的正文外，还有版权信息、广告、导航栏、装饰信息等与正文无关的内容，称为噪音信息。如何屏蔽噪音信息，将网页中的正文提取出来，已经成为当前研究的一个热点。

目前提取网页正文的方法有如下三大类：一、基于模板的网页正文提取的方法；二、基于块文本密度提取正文的方法；三、基于视觉网页分割提取正文的方法。其中，基于模板的网页正文提取的方法中，需要人工维护一个模板信息，然后根据模板信息提取正文内容；基于块文本密度提取正文的方法中，首先根据每行的行内文本比率得到行块分布函数，然后计算超过阈值的文本比率高的行块，从而确定正文内容；基于视觉网页分割提取正文的方法中，首先根据视觉信息将网页分割为多个页面块，然后利用HTML标签中的分隔线将页面块合并，从而得到网页正文。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：一、基于模板提取网页正文，需要人工参与，工作量大，而且网页结构变化时需要重新配置模板；二、基于块文本密度提取正文，很难确定正文的开头和结尾，完整率不高；三、基于视觉网页分割提取正文的方法需要javascript等引擎，复杂度高，非常耗时；四、现有技术没有一种方法适用于所有类型的网页正文提取。

发明内容

有鉴于此，本发明实施例提供一种提取网页正文的方法和装置，能够准确完整的提取出网页正文，降低了人工成本，提高了提取网页正文的效率。

为实现上述目的，根据本发明实施例的一个方面，提供了一种提取网页正文的方法。

本发明实施例的一种提取网页正文的方法包括：根据待提取网页构建访问模型，所述访问模型包括：特征部分和主体部分；计算所述主体部分的各单位区域与所述特征部分的相似值；根据所述相似值和各单位区域的第一指标值，从所述访问模型中筛选单位正文区域；根据所述单位正文区域确定所述待提取网页的正文的开头和结尾，以得到所述待提取网页的完整正文。

可选地，在根据待提取网页构建访问模型之前，所述方法还包括：将所述待提取网页的源码进行标准化处理。

可选地，计算所述主体部分的各单位区域与所述特征部分的相似值包括：计算所述特征部分的第二指标值以及所述主体部分的各单位区域的第二指标值；利用所述特征部分的第二指标值以及所述各单位区域的第二指标值，计算所述特征部分与所述各单位区域的相似值。

可选地，根据所述相似值和各单位区域的第一指标值，从所述访问模型中筛选单位正文区域包括：根据所述第一指标值，从所述访问模型中选出疑似文本区域；利用所述相似值从所述疑似文本区域中筛选所述单位正文区域。

可选地，利用所述相似值从所述疑似文本区域中筛选所述单位正文区域包括：比较所述疑似文本区域中各单位区域的相似值的大小，选取相似值最大的单位区域作为单位正文区域。

可选地，根据所述单位正文区域确定所述待提取网页的正文的开头和结尾包括：以所述单位正文区域为中心进行向上和向下单位区域的迭代遍历，判断每一个单位区域是否符合预设正文条件，若不符合预设正文条件，则停止迭代，从而确定所述待提取网页的正文的开头和结尾。