[发明专利]一种网络负载均衡的多代理分布式爬虫系统和方法

权利要求书

1.一种网络负载均衡的多代理分布式爬虫系统，包括多个代理节点，所述多个代理节点被配置为执行爬虫任务并返回爬行结果，其特征是，包括：

数据计算模块，被配置为计算任务的权重，根据带权任务提交中心控制模块，并从代理节点返回的数据中筛选出新的种子；

中心控制模块，被配置为根据代理节点选择算法选定代理节点并将任务下发至选定代理节点实现网络负载均衡；中心控制模块被进一步配置为：获取目标的物理位置和工作次数信息，计算求出备选代理节点等待参数，然后将任务下发给等待参数最小的代理节点；

代理节点获取模块，被配置为获取可被使用的代理节点并向代理节点监控模块提交新代理节点；

代理节点监控模块，被配置为监控可用代理节点的生存状态及考核代理节点获取模块提交的新代理节点的可用性；

其中计算任务的权重时计算公式如下：

其中i为被计算的节点，Weight_i为任务权重，Weight_MAX为允许的最大任务权重，Weight_MIN为允许的最小任务权重，R_i为任务的轮次，r为管理员设定的轮次阀值。

2.根据权利要求1所述的一种网络负载均衡的多代理分布式爬虫系统，其特征是：所述中心控制模块，被进一步配置为：用于管理员对系统进行控制，其中系统控制包括启动系统、关闭系统、注入初始种子、请求新可用代理节点、维护节点池、存储代理节点的状态信息、向代理节点监控模块发出节点监控命令以及选择代理节点并分配任务给代理节点。

3.根据权利要求2所述的一种网络负载均衡的多代理分布式爬虫系统，其特征是，还包括：

所述中心控制模块与代理节点监控模块被配置为配合完成监控所有当前存活的代理节点的任务；进一步地，中心控制模块被配置为在监控间隔时间范围内随机向代理节点监控模块发出监控命令，代理节点监控模块将在接收命令后，对指定代理节点进行监控；

所述代理节点监控模块，被配置为将代理节点的状态信息提交给中心控制模块；进一步地，还被配置为监控代理节点获取模块所提交的新代理节点，若返回时间小于允许最大返回值，则视为可用，代理节点监控模块将此新代理节点的状态信息提交给中心控制模块，中心控制模块将更新该节点的状态信息，否则将丢弃。

4.一种网络负载均衡的多代理分布式爬虫方法，其特征在于，包括：

计算任务的权重，根据带权任务提交中心控制模块，并从代理节点返回的数据中筛选出新的种子；

根据代理节点选择算法选定代理节点并将任务下发至选定代理节点实现网络负载均衡，根据代理节点选择算法选定代理节点时包括获取目标的物理位置和工作次数信息，计算求出备选代理节点等待参数，等待参数最小的代理节点将被选中；

计算任务的权重时计算公式如下：

其中i为被计算的节点，Weight_i为任务权重，Weight_MAX为允许的最大任务权重，Weight_MIN为允许的最小任务权重，R_i为任务的轮次，r为管理员设定的轮次阀值。

5.根据权利要求4所述的一种网络负载均衡的多代理分布式爬虫方法，其特征在于，当一次爬取成功后筛选出的新种子的R_i将加1实现自增，初始种子的任务轮次R_i为0，表达式如下：

其中R_parent为当前已完成任务的轮次。

6.根据权利要求5所述的一种网络负载均衡的多代理分布式爬虫方法，其特征在于，当轮次R_i达到预设值时，丢弃该爬虫节点并不再下发该爬虫节点引入的种子。