[发明专利]爬虫任务处理方法及装置有效
| 申请号： | 201811441550.1 | 申请日： | 2018-11-29 |
| 公开（公告）号： | CN109492149B | 公开（公告）日： | 2021-04-09 |
| 发明（设计）人： | 徐伟 | 申请（专利权）人： | 深圳大宇无限科技有限公司 |
| 主分类号： | G06F16/951 | 分类号： | G06F16/951 |
| 代理公司： | 北京超凡宏宇专利代理事务所(特殊普通合伙) 11463 | 代理人： | 李强 |
| 地址： | 518000 广东省深圳市南山区粤海街道*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本申请实施例提供了一种爬虫任务处理方法及装置，涉及数据处理技术领域。方法包括：获得爬虫任务；根据爬虫任务的优先级，将爬虫任务加入到至少两个任务队列中与优先级对应的目标任务队列；从至少两个任务队列中选择出目标任务队列以待处理爬虫任务，其中，目标任务队列对应的优先级越高使得目标任务队列被选择出的概率越大。故在保证各任务基于优先级而有序被处理的情况下，不会对设备性能要求很高，实现低成本的设备也可以良好执行爬虫任务。 | ||
| 搜索关键词： | 爬虫 任务 处理 方法 装置 | ||
【主权项】：
1.一种爬虫任务处理方法，其特征在于，所述方法包括：获得爬虫任务；根据所述爬虫任务的优先级，将所述爬虫任务加入到至少两个任务队列中与所述优先级对应的目标任务队列；从所述至少两个任务队列中选择出所述目标任务队列以待处理所述爬虫任务，其中，所述目标任务队列对应的所述优先级越高使得所述目标任务队列被选择出的概率越大。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于深圳大宇无限科技有限公司，未经深圳大宇无限科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201811441550.1/，转载请声明来源钻瓜专利网。
