[发明专利]一种负载均衡分布式的爬虫方法、爬虫系统有效
| 申请号： | 201710790708.5 | 申请日： | 2017-09-05 |
| 公开（公告）号： | CN107562541B | 公开（公告）日： | 2020-08-11 |
| 发明（设计）人： | 曾伟英;霍智杰;徐国坤 | 申请（专利权）人： | 广东科杰通信息科技有限公司 |
| 主分类号： | G06F9/50 | 分类号： | G06F9/50;G06F16/951 |
| 代理公司： | 佛山市禾才知识产权代理有限公司 44379 | 代理人： | 刘羽波 |
| 地址： | 528000 广东省*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种负载均衡分布式的爬虫方法、爬虫系统，包括主服务器和多个与主服务器互通的爬虫服务器，每个所述爬虫服务器的下游设置多个爬虫采集节点，包括系统分布式爬虫负载均衡过程：所述主服务器将一个爬虫任务分解成请求页面任务和分析页面任务，请求页面任务和分析页面任务之间循环交替进行。对各个所述爬虫采集节点的节点状态信息进行监控和分析，从而所述主服务器可及时对所述爬虫采集节点进行调配，避免出现部分爬虫采集节点处于空载状态，提高爬虫采集节点的整体利用率，减少资源浪费。 | ||
| 搜索关键词： | 一种 负载 均衡 分布式 爬虫 方法 系统 | ||
【主权项】：
一种负载均衡分布式的爬虫方法，包括主服务器和多个与主服务器互通的爬虫服务器，每个所述爬虫服务器的下游设置多个爬虫采集节点，其特征在于，包括系统分布式爬虫负载均衡过程：步骤A：所述主服务器将一个爬虫任务分解成请求页面任务和分析页面任务，请求页面任务和分析页面任务之间循环交替进行；步骤B：所述主服务器把请求页面任务和分析页面任务分发给不同的所述爬虫服务器，所述爬虫服务器再把自身接收到的任务分派给各个所述爬虫采集节点并对各个所述爬虫采集节点的节点状态信息进行监控；步骤C：所述爬虫服务器收集并反馈各个所述爬虫采集节点的节点状态信息到所述主服务器；步骤D：所述主服务器接收并分析所述爬虫服务器反馈的节点状态信息；若分析到所述爬虫采集节点的节点状态信息为空载状态，则所述主服务器调度任务给该爬虫采集节点。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于广东科杰通信息科技有限公司，未经广东科杰通信息科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201710790708.5/，转载请声明来源钻瓜专利网。
