[发明专利]一种基于异步aiohttp多平台分布式数据爬取方法在审
| 申请号： | 202110029155.8 | 申请日： | 2021-01-11 |
| 公开（公告）号： | CN112732996A | 公开（公告）日： | 2021-04-30 |
| 发明（设计）人： | 廖杰;李林渡;张衍彬 | 申请（专利权）人： | 深圳市洪堡智慧餐饮科技有限公司 |
| 主分类号： | G06F16/951 | 分类号： | G06F16/951;G06F16/955;G06F16/27 |
| 代理公司： | 深圳市深联知识产权代理事务所(普通合伙) 44357 | 代理人： | 张琪 |
| 地址： | 518000 广东省深圳市福田区梅*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及数据爬取技术领域，具体为一种基于异步aiohttp多平台分布式数据爬取方法，该方法的步骤如下：步骤一、服务中心分发url任务到客户端；步骤二、客户端从配置中心读取配置；步骤三、多个客户端对多个url任务进行下载内容；步骤四、对下载的内容进行解析并清洗存入数据库；步骤五、利用日志中心收集日志；步骤六、打开监控中心查看资源情况、查看结果。本发明通过任务多平台分发利用kafka发布‑订阅消息传递模式，只有订阅了topic的订阅者才会收到消息，这样可以把多平台进行区分，任务去重原理利用redis的set集合特性自带去重功能；本发明利用async异步特性进行发送请求，网络io不会造成阻塞，实现高并发，高可用，通过上述方式可有效提高数据爬取速度。 | ||
| 搜索关键词： | 一种 基于 异步 aiohttp 平台 分布式 数据 方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于深圳市洪堡智慧餐饮科技有限公司，未经深圳市洪堡智慧餐饮科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202110029155.8/，转载请声明来源钻瓜专利网。
- 上一篇：一种可调式上翻装置
- 下一篇：电网设备分词词典和故障案例库构建方法
