[发明专利]一种管理爬虫代理的方法及装置在审
申请号: | 201710208203.3 | 申请日: | 2017-03-31 |
公开(公告)号: | CN107169006A | 公开(公告)日: | 2017-09-15 |
发明(设计)人: | 帅伟良 | 申请(专利权)人: | 北京奇艺世纪科技有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 北京柏杉松知识产权代理事务所(普通合伙)11413 | 代理人: | 马敬,项京 |
地址: | 100080 北京市海淀*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明实施例提供了一种管理爬虫代理的方法及装置,其中,所述方法包括获取并根据携带有待更新代理的指令,在待更新代理的指令为待新增代理的指令时,得到待新增代理的代理信息,添加待新增代理的代理信息,并添加待新增代理到代理池;获取并根据携带有待更新代理的指令,在待更新代理的指令为待删除代理的指令时,得到待删除代理的代理信息,删除待删除代理的代理信息,并删除代理池中的待删除代理。本发明实施例提供的一种管理爬虫代理的方法及装置,通过在有待更新代理时,及时更新待更新代理的代理信息,并更新待更新代理到代理池,保证代理池中的代理都是可用代理,消除代理的改变对进程采集信息的影响。 | ||
搜索关键词: | 一种 管理 爬虫 代理 方法 装置 | ||
【主权项】:
一种管理爬虫代理的方法,其特征在于,所述方法包括:获取并根据携带有待更新代理的指令,得到所述待更新代理的代理信息,其中,所述待更新代理的代理信息至少包括:所述待更新代理的IP地址、所述待更新代理的名称及所述待更新代理的端口,所述待更新代理的指令为待新增代理的指令和/或待删除代理的指令;更新所述待更新代理的代理信息,并更新所述待更新代理到代理池。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京奇艺世纪科技有限公司,未经北京奇艺世纪科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201710208203.3/,转载请声明来源钻瓜专利网。