[发明专利]一种基于微服务的自动爬虫管理方法在审
| 申请号： | 202110096651.5 | 申请日： | 2021-01-25 |
| 公开（公告）号： | CN112765438A | 公开（公告）日： | 2021-05-07 |
| 发明（设计）人： | 王建伟 | 申请（专利权）人： | 北京星汉博纳医药科技有限公司 |
| 主分类号： | G06F16/951 | 分类号： | G06F16/951;G06F11/30 |
| 代理公司： | 北京纽乐康知识产权代理事务所(普通合伙) 11210 | 代理人： | 田磊 |
| 地址： | 100001 北京市海淀区西北*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于微服务的自动爬虫管理方法，该方法包括以下步骤：服务端基于springboot微服务架构和多线程技术，运行程序对爬虫管理平台进行任务接口抽象化，按照爬取同类网站重复步骤对任务接口定义规则；建立爬虫任务流水线，对任务接口进行管理，实现客户端网站数据自动化爬取操作；客户端运用java或python任意一种编程语言，建立与服务端通信的爬虫任务接口，客户端通过token令牌进行注册，注册后客户端与服务端做心跳机制沟通，领取爬虫任务，并推送爬虫结果数据。本发明的有益效果：本申请服务端基于运用微服务架构和多线程技术，通过爬虫管理平台实现客户端网站数据抓取，能够对爬虫客户端和任务管理服务端快速扩容，提高爬虫效率和节约人力成本。 | ||
| 搜索关键词： | 一种 基于 微服 自动 爬虫 管理 方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京星汉博纳医药科技有限公司，未经北京星汉博纳医药科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202110096651.5/，转载请声明来源钻瓜专利网。
