[发明专利]数据抓取方法、装置及电子设备

说明书

本发明实施例提供了一种数据抓取方法、装置及电子设备，其中方法包括：接收数据抓取请求，所述数据抓取请求中至少包括资源配置参数,根据所述资源配置参数和当前爬虫节点的资源配置属性，确定当前爬虫节点是否满足所述资源配置参数，如果满足，则执行数据抓取，如果不满足，则向所述当前爬虫节点的邻近爬虫节点广播所述数据抓取请求。本发明实施例基于点对点的方式构建的爬虫网络系统来执行网络数据抓取，避免了服务器集中式的调度和数据传输的单点瓶颈问题，能够充分共享网络带宽，同时能够避免数据获取任务被目标网站屏蔽的风险。

技术领域

本申请涉及一种数据抓取方法、装置及电子设备，属于计算机技术领域。

背景技术

网络爬虫是目前获取网站数据的重要方式，对数据分析、信息搜索等方面有重要作用。目前业界一般采用多机器部署的分布式网络爬虫架构，在这样的架构下需要通过中心化的节点进行统一调度，系统实现的成本非常高，而且一旦资源调度系统出现问题，会导致整个网络爬虫系统瘫痪。

发明内容

本发明实施例提供一种数据抓取方法、装置及电子设备，避免了服务器集中式的调度和数据传输的单点瓶颈问题，及数据获取任务被目标网站屏蔽的风险。

为了实现上述目的，本发明实施例提供了一种数据抓取方法，包括：

接收数据抓取请求，所述数据抓取请求中至少包括资源配置参数；

根据所述资源配置参数和当前爬虫节点的资源配置属性，确定当前爬虫节点是否满足所述资源配置参数，如果满足，则执行数据抓取，如果不满足，则向所述当前爬虫节点的邻近爬虫节点广播所述数据抓取请求。

本发明实施例还提供了一种数据抓取装置，包括：

数据抓取请求接收模块，用于接收数据抓取请求，所述数据抓取请求中至少包括资源配置参数；

数据抓取模块，用于根据所述资源配置参数和当前爬虫节点的资源配置属性，确定当前爬虫节点是否满足所述资源配置参数，在满足的情况下，执行数据抓取；

数据抓取请求广播模块，用于根据所述资源配置参数和当前爬虫节点的资源配置属性，确定当前爬虫节点是否满足所述资源配置参数，在不满足的情况下，向所述当前爬虫节点的邻近爬虫节点广播所述数据抓取请求。

本发明实施例还提供了一种电子设备，包括：

存储器，用于存储程序；

处理器，耦合至所述存储器，用于执行所述程序，以用于如下处理：

接收数据抓取请求，所述数据抓取请求中至少包括资源配置参数；

根据所述资源配置参数和当前爬虫节点的资源配置属性，确定当前爬虫节点是否满足所述资源配置参数，如果满足，则执行数据抓取，如果不满足，则向所述当前爬虫节点的邻近爬虫节点广播所述数据抓取请求。

本发明实施例的数据抓取方法、装置及电子设备基于点对点的方式构建的爬虫网络系统来执行网络数据抓取，避免了服务器集中式的调度和数据传输的单点瓶颈问题，能够充分共享网络带宽，同时能够避免数据获取任务被目标网站屏蔽的风险。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

图1为本发明实施例的数据抓取方法的流程示意图；

图2为本发明实施例的数据抓取方法的应用场景示意图；

图3为本发明实施例的数据抓取装置的结构示意图之一；

图4为本发明实施例的数据抓取装置的结构示意图之二；