[发明专利]网络爬虫的处理方法及装置

权利要求书

1.一种网络爬虫的处理方法，其特征在于，所述方法包括：

判断待爬取页面的类型，所述待爬取页面的类型包括：内容页面和目录页面，其中，所述内容页面是爬虫爬取的最终目标，其包括有爬虫需要爬取的有效信息，所述目录页面不是爬虫爬取的最终目标，其包括有爬虫通向其他页面的链接；

将所述待爬取页面的任务以先进先出的处理顺序保存在任务队列中；

当确定爬取任务拥塞时对所述任务队列进行整理，将类型为目录页面的待爬取页面的任务放置在所述任务队列的队列尾部；

所述判断待爬取页面的类型，包括：

将所述待爬取页面的页面链接的格式与默认的规则进行对比；

根据比对结果，判断所述待爬取页面的类型；

所述方法还包括：

设置爬虫自学习，让爬虫在解析页面的过程中确定页面类型后，记录确定了页面类型的页面链接的格式，并从同一类型的页面链接中提取出对应的链接规则，将提取出的对应的链接规则作为预设的链接规则；其中，所述预设的链接规则为所述默认的规则，其包含有内容页面的链接规则以及目录页面的链接规则，爬虫根据预设的链接规则将提取的页面链接分为内容页面链接或目录页面链接，从而所述爬虫自主判断待爬取页面的类型。

2.根据权利要求1所述的方法，其特征在于，所述判断待爬取页面的类型包括：

确定待爬取页面中提取的页面链接的类型，所述页面链接的类型包括：内容页面链接和目录页面链接；

根据提取的页面链接的类型确定所述页面链接对应的待爬取页面的类型。

3.根据权利要求2所述的方法，其特征在于，所述确定待爬取页面中提取的页面链接的类型包括：

通过检测提取的页面链接的格式将提取的页面链接分为内容页面链接或目录页面链接；或者，

根据预设的链接规则将提取的页面链接分为内容页面链接或目录页面链接，所述预设的链接规则为爬虫解析各个页面时确定各个页面的类型，记录各个页面的链接格式，并从记录的内容页面的链接格式以及目录页面的链接格式中分别提取出对应的链接规则。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当确定爬取任务拥塞解除时，停止对所述任务队列进行整理。

5.根据权利要求4所述的方法，其特征在于，确定爬取任务是否拥塞包括：

检测待爬取页面的增长速度以及消耗速度；

当增长速度大于消耗速度并且当前待爬取页面的总数大于第一预设阈值时，确定爬取任务拥塞；

当消耗速度大于增长速度并且当前待爬取页面的总数小于第二预设阈值时，确定爬取任务拥塞解除。

6.一种网络爬虫的处理装置，其特征在于，所述装置包括：

判断单元，用于判断待爬取页面的类型，所述待爬取页面的类型包括：内容页面和目录页面，其中，所述内容页面是爬虫爬取的最终目标，其包括有爬虫需要爬取的有效信息，所述目录页面不是爬虫爬取的最终目标，其包括有爬虫通向其他页面的链接；

保存单元，用于将所述待爬取页面的任务以先进先出的处理顺序保存在任务队列中；

整理单元，用于当确定爬取任务拥塞时对所述任务队列进行整理，将类型为目录页面的待爬取页面的任务放置在所述任务队列的队列尾部；

所述判断单元，用于将所述待爬取页面的页面链接的格式与默认的规则进行对比；根据比对结果，判断所述待爬取页面的类型；

所述判断单元，还用于设置爬虫自学习，让爬虫在解析页面的过程中确定页面类型后，记录确定了页面类型的页面链接的格式，并从同一类型的页面链接中提取出对应的链接规则，将提取出的对应的链接规则作为预设的链接规则；其中，所述预设的链接规则为所述默认的规则，其包含有内容页面的链接规则以及目录页面的链接规则，爬虫根据预设的链接规则将提取的页面链接分为内容页面链接或目录页面链接，从而所述爬虫自主判断待爬取页面的类型。

7.根据权利要求6所述的装置，其特征在于，所述判断单元用于确定待爬取页面中提取的页面链接的类型，所述页面链接的类型包括：内容页面链接和目录页面链接；还用于根据提取的页面链接的类型确定所述页面链接对应的待爬取页面的类型。