[发明专利]用于网络资源处理的调度方法、设备、系统及子调度器在审
| 申请号： | 201510921205.8 | 申请日： | 2015-12-11 |
| 公开（公告）号： | CN105897841A | 公开（公告）日： | 2016-08-24 |
| 发明（设计）人： | 高强 | 申请（专利权）人： | 乐视网信息技术（北京）股份有限公司 |
| 主分类号： | H04L29/08 | 分类号： | H04L29/08;G06F17/30 |
| 代理公司： | 北京金律言科知识产权代理事务所(普通合伙) 11461 | 代理人： | 罗延红;王方明 |
| 地址： | 100025 北京*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供一种用于网络资源处理的调度方法、设备、系统及子调度器，方法包括：第一子调度器从至少一个网络爬虫设备获取网络资源的地址信息；当第一子调度器的网络资源的地址信息的数量超过设定的调度阈值时，将超过调度阈值的超出部分的网络资源的地址信息发送给总调度器，以使总调度器根据接收的超出部分的网络资源的地址信息生成至少一个总调度任务；与第一子调度器不同的第二子调度器接收总调度器分发的总调度任务；第二子调度器根据总调度任务和未超过调度阈值的网络资源的地址信息生成子调度任务；第二子调度器发送子调度任务给对应的网络爬虫设备。本发明实现了仅在网络资源处理量超负荷时，请求总调度器重新调度，降低了总调度器的负载。 | ||
| 搜索关键词： | 用于 网络资源 处理 调度 方法 设备 系统 | ||
【主权项】：
一种用于网络资源处理的调度方法，其特征在于，所述方法包括：第一子调度器从至少一个网络爬虫设备获取网络资源的地址信息；当所述第一子调度器的网络资源的地址信息的数量超过设定的调度阈值时，所述第一子调度器将超过所述调度阈值的超出部分的网络资源的地址信息发送给总调度器，以使所述总调度器根据接收的超出部分的网络资源的地址信息生成至少一个总调度任务；与第一子调度器不同的第二子调度器接收所述总调度器分发的所述总调度任务；所述第二子调度器根据总调度任务和未超过所述调度阈值的网络资源的地址信息生成子调度任务；所述第二子调度器发送所述子调度任务给对应的网络爬虫设备。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于乐视网信息技术（北京）股份有限公司，未经乐视网信息技术（北京）股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201510921205.8/，转载请声明来源钻瓜专利网。
