[发明专利]数据抓取方法、装置及电子设备

权利要求书

1.一种数据抓取方法，包括：

接收数据抓取请求，所述数据抓取请求中至少包括数据抓取任务所需的资源配置参数, 其中，所述资源配置参数是用户根据数据抓取需求而配置的参数；

根据所述资源配置参数和当前爬虫节点的资源配置属性，确定当前爬虫节点是否满足所述资源配置参数，如果满足，则执行数据抓取，如果不满足，则向所述当前爬虫节点的邻近爬虫节点广播所述数据抓取请求；

其中，所述数据抓取请求中还包括用于记录该数据抓取请求的转发次数的字段，

所述向所述当前爬虫节点的邻近爬虫节点广播所述数据抓取请求包括：将所述字段中记录的转发次数加一后，向所述当前爬虫节点的邻近爬虫节点广播所述数据抓取请求，

所述方法还包括：接收数据抓取请求后，读取所述字段中记录的被转发次数，如果所述转发次数大于预设阈值，则丢弃该接收数据抓取请求，否则，执行根据所述资源配置参数和当前爬虫节点的资源配置属性，确定当前爬虫节点是否满足所述资源配置参数的处理。

2.根据权利要求1所述的方法，其中，所述资源配置参数包括：网络带宽、存储空间、处理器性能、IP地址中的一项或者多项的组合。

3.根据权利要求1所述的方法，其中，在根据所述资源配置参数和当前爬虫节点的资源配置属性，确定当前爬虫节点是否满足所述资源配置参数之前，还包括：

判断所述当前爬虫节点的是否处于空闲状态，如果是，则执行根据所述资源配置参数和当前爬虫节点的资源配置属性，确定当前爬虫节点是否满足所述资源配置参数的处理，否则，向所述当前爬虫节点的邻近爬虫节点广播所述数据抓取请求。

4.根据权利要求1所述的方法，其中，所述数据抓取请求中还包括数据抓取量信息，

在根据所述资源配置参数和当前爬虫节点的资源配置属性，确定当前爬虫节点是否满足所述资源配置参数之前，还包括：

根据当前爬虫节点的负载状态，确定是否能够处理与所述数据抓取量对应的抓取任务，如果能，则执行根据所述资源配置参数和当前爬虫节点的资源配置属性，确定当前爬虫节点是否满足所述资源配置参数的处理，否则，向所述当前爬虫节点的邻近爬虫节点广播所述数据抓取请求。

5.根据权利要求1所述的方法，其中，所述数据抓取请求中还至少包括数据抓取请求的源爬虫节点的地址信息，

所述执行数据抓取包括：

向所述源爬虫节点返回响应消息；

接收所述源爬虫节点发送的数据抓取任务消息，数据抓取任务消息中至少包括待抓取数据的地址信息；

根据所述抓取任务消息执行数据抓取任务，并将抓取到的数据发送至所述源爬虫节点。

6.根据权利要求1所述的方法，其中，还包括：

从种子服务器获取种子爬虫节点的地址信息；

通过所述种子爬虫节点获取与当前爬虫节点的邻近爬虫节点的地址信息，并与所述邻近的爬虫节点建立路由关系。

7.根据权利要求6所述的方法，其中，通过所述种子爬虫节点获取与当前爬虫节点邻近的爬虫节点的地址信息，并与所述邻近的爬虫节点建立路由关系包括：

以种子爬虫节点作为起始的爬虫节点，利用各个爬虫节点中存储的邻近爬虫节点的地址信息，当前爬虫节点不断地获取爬虫网络系统中的各个爬虫节点的地址信息；

计算当前爬虫节点与获取到地址信息的各个爬虫节点之间的网络距离；

选择网络距离小于预设距离阈值的爬虫节点和/或满足预设数量要求的爬虫节点，作为当前爬虫节点的邻近爬虫网络节点，并在当前爬虫节点中存储该邻近爬虫网络节点的地址信息，从而与邻近爬虫网络节点建立路由关系。