[发明专利]网页类型的判断方法及装置

权利要求书

1.一种网页类型的判断方法，其特征在于，包括：

爬取目标网页链接；

从所述目标网页链接中截取顶级域名；

根据网页类型模型和所述目标网页链接的顶级域名，判定所述目标网页链接对应网页的网页类型，其中，所述网页类型模型为对多个网页链接和每个网页链接对应网页的网页类型进行学习训练后生成的模型。

2.根据权利要求1所述的方法，其特征在于，所述网页类型模型中包括：所述网页链接、所述网页链接对应网页的网页类型以及所述网页链接与所述网页链接对应网页的网页类型的对应关系，根据网页类型模型和所述目标网页链接的顶级域名，判定所述目标网页链接对应网页的网页类型包括：

判断所述网页类型模型是否训练过所述目标网页链接的顶级域名；

若是，通过所述网页类型模型中网页链接与所述网页类型的对应关系，确定所述目标网页链接对应网页的网页类型；

若否，获取所述目标网页链接对应网页的html源码；

通过所述目标网页链接对应网页的html源码确定所述目标网页链接对应网页的网页类型。

3.根据权利要求2所述的方法，其特征在于，通过所述目标网页链接对应网页的html源码确定所述目标网页链接对应网页的网页类型包括：

通过所述目标网页链接对应网页的html源码构建网页节点树，其中，所述网页节点树由所述html源码中多种类型的节点构建；

从所述网页节点树中抽取网页特征；

利用所述网页特征判断目标网页链接对应的网页类型。

4.根据权利要求3所述的方法，其特征在于，通过所述目标网页链接对应网页的html源码构建网页节点树包括：

从所述html源码中抽取目标类型节点；

确定所述目标类型节点的层级结构；

基于所述目标类型节点和所述层级结构生成节点树；

移除所述节点树中不满足预设条件的目标类型节点；以及

在移除所述节点树中不满足预设条件的目标类型节点之后，对所述节点树中的目标类型节点进行封装处理，构建所述网页节点树。

5.根据权利要求1所述的方法，其特征在于，从所述目标网页链接中截取顶级域名包括：

获取用于对所述目标网页链接中顶级域名进行截取的正则表达式；以及

采用所述正则表达式截取所述目标网页链接对应网页的顶级域名。

6.一种网页类型的判断装置，其特征在于，包括：

爬取单元，用于爬取目标网页链接；

截取单元，用于从所述目标网页链接中截取顶级域名；

判定单元，用于根据网页类型模型和所述目标网页链接的顶级域名，判定所述目标网页链接对应网页的网页类型，其中，所述网页类型模型为对多个网页链接和每个网页链接对应网页的网页类型进行学习训练后生成的模型。

7.根据权利要求6所述的装置，其特征在于，所述网页类型模型中包括：所述网页链接、所述网页链接对应网页的网页类型以及所述网页链接与所述网页链接对应网页的网页类型的对应关系，所述判定单元包括：

判断子单元，用于判断所述网页类型模型是否训练过所述目标网页链接的顶级域名；

第一确定子单元，用于若是，通过所述网页类型模型中网页链接与所述网页类型的对应关系，确定所述目标网页链接对应网页的网页类型；

第一获取子单元，用于若否，获取所述目标网页链接对应网页的html源码；

第二确定子单元，用于通过所述目标网页链接对应网页的html源码确定所述目标网页链接对应网页的网页类型。

8.根据权利要求7所述的装置，其特征在于，所述第二确定子单元包括：

构建模块，用于通过所述目标网页链接对应网页的html源码构建网页节点树，其中，所述网页节点树由所述html源码中多种类型的节点构建；

抽取模块，用于从所述网页节点树中抽取网页特征；

判定模块，用于利用所述网页特征判定目标网页链接对应的网页类型。