[发明专利]网络爬虫调度方法、装置及设备

说明书

本发明提供一种网络爬虫调度方法、装置及设备。方法包括：获取站点的刷新频率，并将刷新频率发送至下载模块，以使下载模块根据刷新频率对站点的列表页进行刷新；根据刷新结果确定站点的实际刷新比例；根据实际刷新比例确定站点是否存在异常情况，若是，则将站点标记为异常站点，并且向下载模块发送停止刷新指令，以使下载模块不再对异常站点的列表页进行刷新。本实施例提供的方案能够通过控制下载模块的工作状态，避免下载模块从异常站点中采集无用网页数据引起的资源浪费问题，同时还能够提高采集有用网页数据的效率。

技术领域

本发明涉及数据获取技术，尤其涉及一种网络爬虫调度方法、装置及设备。

背景技术

随着互联网技术及大数据处理科学的高速发展，在互联网应用服务中，大数据扮演着越来越重要的角色。

网络爬虫作为大数据技术的基础数据支持部分，是大数据系统中十分重要的组成部分，它负责从互联网中搜集网页，解析、归纳页面类容，为大数据的研究提供数据来源。

但是，在现有的爬虫系统中，只根据各站点的优先级、活跃度等因素对各站点任务进行调度，导致现有技术中的爬虫系统，存在浪费系统资源、资源利用率较低的问题。

发明内容

本发明提供一种网络爬虫调度方法、装置及设备，以解决现有技术中的爬虫系统，存在浪费系统资源、资源利用率较低的问题

本发明的第一个方面是提供一种网络爬虫调度方法，包括：

获取站点的刷新频率，并将所述刷新频率发送至下载模块，以使所述下载模块根据所述刷新频率对所述站点的列表页进行刷新；

根据刷新结果确定所述站点的实际刷新比例；

根据所述实际刷新比例确定所述站点是否存在异常情况，若是，则将所述站点标记为异常站点，并且向所述下载模块发送停止刷新指令，以使所述下载模块不再对所述异常站点的列表页进行刷新。

本发明的另一个方面是提供一种网络爬虫调度装置，包括：

获取模块，用于获取站点的刷新频率，并将所述刷新频率发送至下载模块，以使所述下载模块根据所述刷新频率对所述站点的列表页进行刷新；

第一确定模块，用于根据刷新结果确定所述站点的实际刷新比例；

第二确定模块，用于根据所述实际刷新比例确定所述站点是否存在异常情况，若是，则将所述站点标记为异常站点，并且向所述下载模块发送停止刷新指令，以使所述下载模块不再对所述异常站点的列表页进行刷新。

本发明的又一个方面是提供一种网络爬虫调度设备，包括：

存储器；

处理器；以及

计算机程序；

其中，所述计算机程序存储在所述存储器中，并配置为由所述处理器执行以实现如上述第一方面所述的网络爬虫调度方法。

本发明提供的网络爬虫调度方法、装置及设备的技术效果是：

本实施例提供的网络爬虫调度方法、装置及设备，包括获取站点的刷新频率，并将刷新频率发送至下载模块，以使下载模块根据刷新频率对站点的列表页进行刷新；根据刷新结果确定站点的实际刷新比例；根据实际刷新比例确定站点是否为存在异常情况，若是，则将站点标记为异常站点，并且向下载模块发送停止刷新指令，以使下载模块不再对异常站点的列表页进行刷新。本实施例提供的方法、装置及设备，能够根据站点列表页的实际刷新比例确定站点是否存在异常情况，并将存在异常情况的站点标记为异常站点，同时控制下载模块不对异常站点的列表页进行刷新，进而不采集异常站点中的网页数据。因此，本实施例提供的方案能够通过控制下载模块的工作状态，避免下载模块从异常站点中采集无用网页数据引起的资源浪费问题，同时还能够提高采集有用网页数据的效率。