[发明专利]一种用于爬取页面的方法和设备

权利要求书

1.一种用于爬取页面的方法，其中，该方法包括以下步骤：

x根据已爬取页面，获取对应候选爬取页面的候选页面标识信息；

y根据所述候选爬取页面与所述已爬取页面的关联性信息，将所述候选页面标识信息添加至对应的待爬页面集合，其中，所述待爬页面集合包括一个或多个待爬取页面的页面标识信息；

其中，该方法还包括：

a根据所述待爬页面集合，确定待爬取页面的目标爬取标识信息；

b爬取所述目标爬取标识信息所对应的目标页面。

2.根据权利要求1所述的方法，其中，该方法还包括：

-根据所述目标页面，以及所述已爬取页面，确定对应的数据对象，其中，所述数据对象包括基于所述目标页面和/或所述已爬取页面的页面内容的数据单元。

3.根据权利要求1或2所述的方法，其中，所述待爬页面集合包括基于先进后出策略的第一待爬子集；

其中，所述步骤a包括：

-将所述第一待爬子集中时序上最后被添加的页面标识信息，作为所述目标爬取标识信息。

4.根据权利要求3所述的方法，其中，所述步骤y包括：

-根据所述候选爬取页面与所述已爬取页面的关联性信息，检测是否满足将所述候选页面标识信息添加至所述第一待爬子集的第一触发条件；

-当满足所述第一触发条件，将所述候选页面标识信息添加至所述第一待爬集合，其中，所述第一待爬集合包括一个或多个待爬取页面的页面标识信息。

5.根据权利要求4所述的方法，其中，所述第一触发条件包括以下至少任一项：

-所述关联性信息满足预定关联阈值，且所述候选爬取页面中包含待抓取的数据单元；

-所述关联性信息满足预定关联阈值，且所述第一待爬子集未满；

-所述关联性信息满足预定关联阈值，且所述候选爬取页面满足其他的预定爬取条件。

6.根据权利要求3所述的方法，其中，所述待爬页面集合还包括基于时限处理策略的第二待爬子集；

其中，所述步骤a包括：

-当所述第一待爬子集为空时，从所述第二待爬子集中确定所述目标爬取标识信息，其中，所述目标爬取标识信息所对应的爬取时限时间小于或等于当前时间。

7.根据权利要求6所述的方法，其中，所述步骤y包括：

-根据所述候选爬取页面与所述已爬取页面的关联性信息，检测是否满足将所述候选页面标识信息添加至所述第二待爬子集的第二触发条件；

-当满足所述第二触发条件，将所述候选页面标识信息添加至所述第二待爬集合，其中，所述第二待爬集合包括一个或多个待爬取页面的页面标识信息，以及所述页面标识信息所对应的爬取时限信息。

8.根据权利要求1至7中任一项所述的方法，其中，该方法还包括：

-检测是否满足调整所述待爬页面集合的调整触发条件；

-当满足所述调整触发条件，对所述待爬页面集合进行相应调整。

9.根据权利要求8所述的方法，其中，所述待爬页面集合包括所述第一待爬集合与所述第二待爬集合；

其中，所述调整触发条件包括所述第二待爬集合中第一个页面标识信息的爬取时限信息超出当前时间。

10.根据权利要求9所述的方法，其中，所述相应调整操作包括以下至少任一项：

-减少所述第一待爬集合的容量；

-延长所述第二待爬集合中页面标识信息的爬取时限信息；

-增加所述待爬页面集合所对应的爬取资源信息。

11.一种用于爬取页面的爬取设备，其中，该设备包括：

候选标识获取装置，用于根据已爬取页面，获取对应候选爬取页面的候选页面标识信息；

分组装置，用于根据所述候选爬取页面与所述已爬取页面的关联性信息，将所述候选页面标识信息添加至对应的待爬页面集合，其中，所述待爬页面集合包括一个或多个待爬取页面的页面标识信息；

其中，该设备还包括：

爬取标识获取装置，用于根据所述待爬页面集合，确定待爬取页面的目标爬取标识信息；

爬取装置，用于爬取所述目标爬取标识信息所对应的目标页面。