[发明专利]分布式爬虫系统架构、爬取数据的方法和计算机设备在审
| 申请号： | 201910601110.6 | 申请日： | 2019-07-04 |
| 公开（公告）号： | CN110457556A | 公开（公告）日： | 2019-11-15 |
| 发明（设计）人： | 车驰;李钢;权佳成;谭瑞;张瑜 | 申请（专利权）人： | 重庆金融资产交易所有限责任公司 |
| 主分类号： | G06F16/951 | 分类号： | G06F16/951;G06F16/953 |
| 代理公司： | 44343 深圳市明日今典知识产权代理事务所(普通合伙) | 代理人： | 王杰辉<国际申请>=<国际公布>=<进入 |
| 地址： | 400010重庆市渝中*** | 国省代码： | 重庆;50 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本申请揭示了一种分布式爬虫系统架构、爬取数据的方法和计算机设备，其中方法包括：利用任务发布模块获取爬虫任务，并将爬虫任务发送给爬虫模块；爬虫模块获取到爬虫任务后，到爬虫服务模块中调用与爬取要求对应的目标爬虫服务，并利用目标爬虫服务，到目标网站上爬取原始爬虫数据；将爬取的原始爬虫数据存储到预设的第一存储模块。本申请的分布式爬虫系统架构、分布式爬虫爬取数据的方法和计算机设备等，设置爬虫服务模块，将整个爬虫系统的底层需求进行封装，进行模块化，服务化的处理，减少开发人员的工作量，以及不限制开发人员的开发语言，降低能力需求；通过架构设计提升爬虫系统的稳定性和扩展能力。 | ||
| 搜索关键词： | 爬虫 爬虫系统 计算机设备 服务模块 爬虫模块 爬虫数据 架构 任务发布模块 存储模块 架构设计 开发语言 扩展能力 目标网站 能力需求 模块化 预设 调用 封装 申请 工作量 服务 存储 开发 | ||
【主权项】：
1.一种分布式爬虫系统架构，其特征在于，所述架构的设计使用HTTP服务注册的方式，将不同的模块进行隔离，不同的模块之间使用消息队列的方式进行相互的访问，所述架构包括：/n任务发布模块，用于发布爬虫任务；/n爬虫服务模块，用于存储以服务形式存在的不同的爬虫服务，不同的所述爬虫服务完成不同的爬虫任务；/n爬虫模块，用于接收所述任务发布模块发布的爬虫任务，并依据所述爬虫任务，到所述爬虫服务模块中调用与所述爬虫任务对应的爬虫服务，利用所述爬虫服务到目标网站进行爬取动作，得到对应的原始爬虫数据；/n第一数据存储模块，用于存储所述原始爬虫数据。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于重庆金融资产交易所有限责任公司，未经重庆金融资产交易所有限责任公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910601110.6/，转载请声明来源钻瓜专利网。
