[发明专利]一种图片抓取方法和服务器在审
申请号: | 201510965284.2 | 申请日: | 2015-12-21 |
公开(公告)号: | CN106897126A | 公开(公告)日: | 2017-06-27 |
发明(设计)人: | 杨涛;吕本伟 | 申请(专利权)人: | 北京奇虎科技有限公司;奇智软件(北京)有限公司 |
主分类号: | G06F9/48 | 分类号: | G06F9/48 |
代理公司: | 北京市隆安律师事务所11323 | 代理人: | 权鲜枝,何立春 |
地址: | 100088 北京市西城区新*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种图片抓取方法和服务器,该方法包括多个任务处理器接收图片请求消息,并生成相应的图片抓取任务;任务调度器取出图片抓取任务,根据各任务处理器的负载状态分发给多个任务处理器;各任务处理器根据该图片抓取任务中的待抓取图片的标识信息判断该图片抓取任务是否为已完成任务,是则,从历史已抓取图片中获取该图片抓取任务对应的图片,否则,根据该图片抓取任务中的待抓取图片的地址信息抓取该图片抓取任务对应的图片。本方案通过在将图片抓取任务分发给任务处理器之前对任务处理器的状态判断,以及,通过在进行图片抓取之前对图片抓取任务的状态判断,充分利用了系统资源,实现了任务处理器之间的负载均衡和任务处理方式的灵活可变。 | ||
搜索关键词: | 一种 图片 抓取 方法 服务器 | ||
【主权项】:
一种图片抓取方法,其中,该方法包括:多个任务处理器接收图片请求消息,根据各图片请求消息生成相应的图片抓取任务;其中,每个图片抓取任务中包括:待抓取图片的标识信息,待抓取图片的地址信息;任务调度器将生成的各图片抓取任务存储到第一任务队列中;从第一任务队列中取出图片抓取任务,根据各任务处理器的负载状态分发给多个任务处理器;各任务处理器对于分发的每个图片抓取任务,根据该图片抓取任务中的待抓取图片的标识信息判断该图片抓取任务是否为已完成任务,是则,从历史已抓取图片中获取该图片抓取任务对应的图片,否则,根据该图片抓取任务中的待抓取图片的地址信息抓取该图片抓取任务对应的图片。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京奇虎科技有限公司;奇智软件(北京)有限公司,未经北京奇虎科技有限公司;奇智软件(北京)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201510965284.2/,转载请声明来源钻瓜专利网。