[发明专利]高可用、高可扩展、分布式的模块化网络爬虫在审
| 申请号： | 201410215470.X | 申请日： | 2014-05-21 |
| 公开（公告）号： | CN103997524A | 公开（公告）日： | 2014-08-20 |
| 发明（设计）人： | 陈大雅;程瑶;文中领 | 申请（专利权）人： | 浪潮电子信息产业股份有限公司 |
| 主分类号： | H04L29/08 | 分类号： | H04L29/08;H04L12/24 |
| 代理公司： | 济南信达专利事务所有限公司 37100 | 代理人： | 姜明 |
| 地址： | 250014 山东*** | 国省代码： | 山东;37 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种高可用、高可扩展、分布式的模块化网络爬虫，提出了一种新型网络爬虫体系结构,该体系结构主要包括：资源模块、网页下载模块、网页分解模块以及事件驱动模块，所述资源模块包括控制模块、网页存储模块和通信模块；该新型网络爬虫体系结构以控制模块为核心，采用事件驱动的编程模型，通过整合网页下载模块、网页分解模块及协调不同机器之间资源的均衡配置，使分布式爬虫体系具有可扩展性和高可用性，很适合用于海量数据的抓取工作，适合用于云计算中心。 | ||
| 搜索关键词： | 可用 扩展 分布式 模块化 网络 爬虫 | ||
【主权项】：
高可用、高可扩展、分布式的模块化网络爬虫，其特征在于, 该模块化网络爬虫提出了一种新型网络爬虫体系结构,该体系结构主要包括：资源模块、网页下载模块、网页分解模块以及事件驱动模块，其中：所述资源模块主要包括控制模块、网页存储模块和通信模块；控制模块是整个系统架构的核心，负责协调各个机器的爬虫间的通信、全局信息共享和为各个爬虫分配任务；网页存储模块负责存储分解后的网页；所述网页下载模块主要负责网页的下载、添加代理服务器、模拟浏览器行为；所述网页分解模块负责网页的分解、去除广告信息、去除噪声；所述事件驱动模块负责为多个任务安排执行顺序，该模块包括事件驱动编程模型；该新型网络爬虫体系结构是以控制模块为核心，采用事件驱动编程模型，通过整合网页下载模块、网页分解模块及协调不同机器之间资源的均衡配置，使分布式爬虫体系具有可扩展性和高可用性。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于浪潮电子信息产业股份有限公司，未经浪潮电子信息产业股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201410215470.X/，转载请声明来源钻瓜专利网。
- 上一篇：一种稳压电路
- 下一篇：便于接听电话的智能手表及其手表表带
