[发明专利]对分布式网络爬虫进行更新的方法及装置在审
申请号: | 201510288091.8 | 申请日: | 2015-05-29 |
公开(公告)号: | CN104834550A | 公开(公告)日: | 2015-08-12 |
发明(设计)人: | 李强;廖耀华 | 申请(专利权)人: | 北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司 |
主分类号: | G06F9/445 | 分类号: | G06F9/445 |
代理公司: | 北京德琦知识产权代理有限公司 11018 | 代理人: | 周华霞;王丽琴 |
地址: | 100080 北京市海淀区杏石口路6*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了对分布式网络爬虫进行更新的方法及装置,其中,该方法包括:从服务器获取最新版本的爬虫代码包及相应的版本号;查找到抓取节点本地的爬虫代码包,用获取的爬虫代码包更新抓取节点本地的爬虫代码包;将抓取节点本地的爬虫代码包的版本号更新为最新版本的版本号;重新启动爬虫代码程序。本发明方案能够实现自动对网络爬虫进行更新,降低成本,提高更新效率。 | ||
搜索关键词: | 分布式 网络 爬虫 进行 更新 方法 装置 | ||
【主权项】:
一种对分布式网络爬虫进行更新的方法,其特征在于,该方法包括:从服务器获取最新版本的爬虫代码包及相应的版本号;查找到抓取节点本地的爬虫代码包,用获取的爬虫代码包更新抓取节点本地的爬虫代码包;将抓取节点本地的爬虫代码包的版本号更新为最新版本的版本号;重新启动爬虫代码程序。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司,未经北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201510288091.8/,转载请声明来源钻瓜专利网。
- 上一篇:一种基站内存的控制方法和装置
- 下一篇:数据加载方法及装置