[发明专利]任务分配方法、装置、服务器和存储介质有效
申请号: | 201911115472.0 | 申请日: | 2019-11-14 |
公开(公告)号: | CN110866167B | 公开(公告)日: | 2022-09-20 |
发明(设计)人: | 张昊 | 申请(专利权)人: | 北京知道创宇信息技术股份有限公司 |
主分类号: | G06F16/951 | 分类号: | G06F16/951;G06F9/50 |
代理公司: | 北京超凡宏宇专利代理事务所(特殊普通合伙) 11463 | 代理人: | 张磊 |
地址: | 100000 北京市朝阳区阜*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本申请实施例提供一种任务分配方法、装置、服务器和存储介质,该方法可应用于分布式爬虫系统中的主节点,该任务分配方法包括:向从节点发送任务数量为第一数量的第一任务;接收从节点返回的第一数量的第一任务的任务执行结果;根据任务执行结果计算从节点当前的处理能力值;根据当前的处理能力值对从节点的任务数量进行更新,以在下一次发送任务时根据更新后的任务数量向从节点发送任务。以此能够改善现有技术中爬虫集群的处理效率低的问题。 | ||
搜索关键词: | 任务 分配 方法 装置 服务器 存储 介质 | ||
【主权项】:
暂无信息
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京知道创宇信息技术股份有限公司,未经北京知道创宇信息技术股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201911115472.0/,转载请声明来源钻瓜专利网。