[发明专利]一种基于流式下载的爬虫方法在审
| 申请号： | 202110992076.7 | 申请日： | 2021-11-29 |
| 公开（公告）号： | CN115248887A | 公开（公告）日： | 2022-10-28 |
| 发明（设计）人： | 侯福金;于旻;刘群;郑坤;田源;李剑 | 申请（专利权）人： | 山东高速建设管理集团有限公司 |
| 主分类号： | G06F16/951 | 分类号： | G06F16/951 |
| 代理公司： | 暂无信息 | 代理人： | 暂无信息 |
| 地址： | 250098 山*** | 国省代码： | 山东;37 |
| 权利要求书： | 暂无信息 | 说明书： | 暂无信息 |
| 摘要： | 本发明属于网络爬虫技术领域，本发明公布了一种基于流式下载的爬虫方法。本发明为了解决爬虫在并发下载固件时内存占用过大的问题而设计。本发明基于Vert.x框架实现，采用单线程事件驱动的异步工作模式；将固件的自动化下载分为爬取链接和下载固件两个模块，首先爬取链接模块将爬取的链接放入Redis中，其次下载模块从Redis中获取链接进行下载；用正则表达式获取固件链接；采取两种方法实现流式下载，分别是直接使用Vert.x框架提供的Stream接口和利用HTTP的Range字段。由此，异步工作模式不需要等待网络I/O，提高了CPU利用率；通过将系统划分成两个模块，降低了爬虫系统的耦合性；采用流式下载的方式能够大幅降低内存占用，支持更高的并发下载的同时也提高了系统的稳定性。该发明主要用于有下载大量文件需求的爬虫任务。 | ||
| 搜索关键词： | 一种 基于 下载 爬虫 方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于山东高速建设管理集团有限公司，未经山东高速建设管理集团有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202110992076.7/，转载请声明来源钻瓜专利网。
