[发明专利]分布式爬虫系统中任务管理器的选举方法及系统在审
| 申请号： | 201710914015.2 | 申请日： | 2017-09-30 |
| 公开（公告）号： | CN107590284A | 公开（公告）日： | 2018-01-16 |
| 发明（设计）人： | 马岩 | 申请（专利权）人： | 麦格创科技（深圳）有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30;G06F9/50 |
| 代理公司： | 深圳市科冠知识产权代理有限公司44355 | 代理人： | 王海骏 |
| 地址： | 518000 广东省深*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种分布式爬虫系统中任务管理器的选举方法，所述方法包括如下步骤分布式设备接收或发起选举消息，所述选举消息用于从分布式爬虫系统中选举出任务管理器；分布式设备将设备参数通过广播消息广播至分布式爬虫系统中的其他设备，接收其他设备发送的广播消息，从广播消息中提取设备参数最优的第一分布式设备；分布式设备接收其他设备发送的投票消息，该投票消息包括票数以及投票的分布式设备，将票数最多的分布式设备确定为任务管理器；如分布式设备为任务管理器，将本地处理的爬虫任务分配给其他分布式设备。本发明提供的技术方案具有效率高的优点。 | ||
| 搜索关键词： | 分布式 爬虫 系统 任务 管理器 选举 方法 | ||
【主权项】：
一种分布式爬虫系统中任务管理器的选举方法，其特征在于，所述方法包括如下步骤：分布式设备接收或发起选举消息，所述选举消息用于从分布式爬虫系统中选举出任务管理器；分布式设备将设备参数通过广播消息广播至分布式爬虫系统中的其他设备，接收其他设备发送的广播消息，从广播消息中提取设备参数最优的第一分布式设备；分布式设备接收其他设备发送的投票消息，该投票消息包括：票数以及投票的分布式设备，将票数最多的分布式设备确定为任务管理器；如分布式设备为任务管理器，将本地处理的爬虫任务分配给其他分布式设备。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于麦格创科技（深圳）有限公司，未经麦格创科技（深圳）有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201710914015.2/，转载请声明来源钻瓜专利网。
- 上一篇：一种合金钢管焊接方法
- 下一篇：一种可防止焊缝裂纹延伸的焊接连接结构
