[发明专利]一种分布式爬虫框架采集并处理数据的方法在审
| 申请号： | 202211170649.9 | 申请日： | 2022-09-23 |
| 公开（公告）号： | CN115757916A | 公开（公告）日： | 2023-03-07 |
| 发明（设计）人： | 王文清 | 申请（专利权）人： | 上海橘涞金融信息服务有限公司 |
| 主分类号： | G06F16/951 | 分类号： | G06F16/951;G06F16/955;G06F9/54;G06F9/48 |
| 代理公司： | 暂无信息 | 代理人： | 暂无信息 |
| 地址： | 200080 上海市虹口*** | 国省代码： | 上海;31 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及一种分布式爬虫框架采集并处理数据的方法，包括以下步骤：在分布式主机爬虫中设一个本地的爬取队列Queue，爬取队列Queue用于存储新的Request，随后Request被Scheduler调度，之后Request交给Downloader执行爬取；先进行共享爬取队列，然后在多台主机上同时运行爬虫任务协同爬取；在共享爬取队列中，Scheduler扩展为多个，Downloader扩展为多个，而爬取队列Queue设置为一个。其通过使用代理分布式代理以及构建多台服务器主机进行匿名的部署爬虫框架，可以更好的解决网站的限流问题，从而更好的解决数据入库的效率问题。 | ||
| 搜索关键词： | 一种 分布式 爬虫 框架 采集 处理 数据 方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于上海橘涞金融信息服务有限公司，未经上海橘涞金融信息服务有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202211170649.9/，转载请声明来源钻瓜专利网。
