[发明专利]网页类型的判断方法及装置

说明书

本申请公开了一种网页类型的判断方法及装置。该方法包括：获取目标网页的html源码；通过html源码构建节点树，其中，节点树由html源码中多种类型的节点构建；从节点树中抽取网页特征，得到网页特征集合；以及利用网页特征集合中各个网页特征对目标网页的网页类型进行判断。通过本申请，解决了相关技术中识别页面类型的准确性较低的问题。

技术领域

本申请涉及互联网领域，具体而言，涉及一种网页类型的判断方法及装置。

背景技术

网络爬虫会基于对不同的页面类型采取的不同行为，通常将网页划分为两个大类，即是内容页面和列表页面。对于内容页面，网络爬虫通常采取的行为是抓取，即将该页面的内容进行抓取、解析和保存等。对于列表页面，网络爬虫通常采取的行为是下钻，即获取该页面中的超链接，并继续更深一层地抓取超链接中对应的页面内容。由于行为上存在差异，若将两种页面混为一谈就会造成额外的问题，如若将内容页错误地看待为列表页，则内容页本身的内容将无法被解析和存储，并且内容页中的其他链接将成为继续下钻的逻辑，产生错误。因此，正确合理的对互联网中这两大类页面进行区分，对于网络爬虫而言至关重要。相关技术中的网页类型识别方法是基于统计的，基于统计页面源码中，连续文字出现的段落比例，并根据经验分布情况设定阈值，当认为连续文字出现的比例大于阈值时，则认定这段连续的文字为页面正文，当网页中无页面正文时，则认定该页面为列表页。因此仅仅可以作为一种实现的方案，但是方案本身存在很多问题。其中最大的问题，是相关技术将网页源码当作字符串或字符串数组进行处理，这一方式本身并不符合网页的真正结构——树型结构。因此，相关技术中识别页面类型的准确性较低。

针对相关技术中识别页面类型的准确性较低的问题，目前尚未提出有效的解决方案。

发明内容

本申请的主要目的在于提供一种网页类型的判断方法及装置，以解决相关技术中识别页面类型的准确性较低的问题。

为了实现上述目的，根据本申请的一个方面，提供了一种网页类型的判断方法。该方法包括：获取目标网页的html源码；通过html源码构建节点树，其中，节点树由html源码中多种类型的节点构建；从节点树中抽取网页特征，得到网页特征集合；以及利用网页特征集合中各个网页特征对目标网页的网页类型进行判断。

进一步地，通过html源码构建节点树包括：从html源码中抽取目标类型节点；确定目标类型节点的层级结构；基于目标类型节点和层级结构生成待处理节点树；移除待处理节点树中不满足预设条件的目标类型节点；以及在移除待处理节点树中不满足预设条件的目标类型节点之后，对待处理节点树中的目标类型节点进行封装处理，构建节点树。

进一步地，从节点树中抽取网页特征，得到网页特征集合包括：对节点树中的节点进行聚类处理，得到节点聚集集合；在各节点聚集集合中抽取影响判断网页类型的网页特征；通过抽取到的网页特征组成网页特征集合。

进一步地，在获取目标网页的html源码之前，该方法还包括：爬取多个网页并获取对多个网页所属网页类型进行标记的标记结果；对每个网页进行处理，获取每个网页的网页特征；根据每个网页所属网页类型的标记结果计算每个网页特征的分值；对每个网页特征的分值和每个网页所属网页类型进行训练，得到分类模型。

进一步地，利用网页特征集合中各个网页特征对目标网页的网页类型进行判断包括：获取网页特征集合中每个网页特征的分值；通过分类模型确定每个网页特征的权重值；根据每个网页特征的权重值和每个网页特征的分值计算目标网页的类型综合值；以及根据类型综合值判定目标网页的网页类型。

为了实现上述目的，根据本申请的另一方面，提供了一种网页类型的判断装置。该装置包括：第一获取单元，用于获取目标网页的html源码；构建单元，用于通过html源码构建节点树，其中，节点树由html源码中多种类型的节点构建；抽取单元，用于从节点树中抽取网页特征，得到网页特征集合；以及判断单元，用于利用网页特征集合中各个网页特征对目标网页的网页类型进行判断。