[发明专利]分布式网页下载方法和系统有效
申请号: | 201410149901.7 | 申请日: | 2014-04-15 |
公开(公告)号: | CN103873597B | 公开(公告)日: | 2017-10-10 |
发明(设计)人: | 何培林;汤伟宾;陈晨;章正道;林胜通 | 申请(专利权)人: | 厦门市美亚柏科信息股份有限公司 |
主分类号: | H04L29/08 | 分类号: | H04L29/08;G06F9/46;G06F17/30 |
代理公司: | 北京恒都律师事务所11395 | 代理人: | 李向东 |
地址: | 361008 福建省厦门*** | 国省代码: | 福建;35 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 分布式 网页 下载 方法 系统 | ||
1.一种分布式网页下载方法,其特征在于,执行所述方法的系统包括任务调度服务单元、2个以上的网络爬虫以及2个以上分布在不同地理位置具有不同IP地址的上网客户端,所述方法包括:
所述网络爬虫向任务调度服务单元发送网页下载请求,所述下载请求包括所述网页的URL地址;
所述任务调度服务单元接收并将上述网页下载请求保存至第一消息队列;
所述上网客户端从所述任务调度服务单元的第一消息队列获取一个网页下载请求,根据所述URL地址下载相应的网页数据,保存至所述任务调度服务单元的第二消息队列;
所述任务调度服务单元将所述第二消息队列中的网页数据返回至请求网页下载的相应网络爬虫。
2.如权利要求1所述的方法,其特征在于,在所述网络爬虫向任务调度服务单元发送网页下载请求步骤之前,还包括:
所述网络爬虫向任务调度服务单元发起TCP连接,并保持连接,直至收到任务调度服务单元返回对应的网页数据。
3.如权利要求1所述的方法,其特征在于,所述上网客户端从所述任务调度服务单元的第一消息队列获取一个网页下载请求,具体包括:
判断所述第一消息队列是否为空;
若是,则循环等待直至所述第一消息队列不为空;否则,所述任务调度服务单元从第一消息队列读取一个网页下载请求,并返回给所述上网客户端。
4.如权利要求1所述的方法,其特征在于,所述任务调度服务单元将所述第二消息队列中的网页数据返回至请求网页下载的相应网络爬虫,具体包括:
所述任务调度服务单元监听第二消息队列的状态,当有新的网页数据保存至第二消息队列时,读取该新的网页数据,并返回至请求网页下载的相应网络爬虫。
5.如权利要求1所述的方法,其特征在于,向任务调度服务单元发起获取网页下载请求的上网客户端具有空闲的网络连接资源。
6.一种分布式网页下载系统,其特征在于,包括任务调度服务单元、2个以上的网络爬虫以及2个以上分布在不同地理位置具有不同IP地址的上网客户端,所述任务调度服务单元与所述上网客户端通过因特网连接,其中:
所述网络爬虫用于向任务调度服务单元发送网页下载请求,以及接收所述任务调度服务单元返回的网页数据;所述下载请求包括所述网页的URL地址;
所述上网客户端用于从所述任务调度服务单元的第一消息队列获取一个网页下载请求,根据所述URL地址通过互联网下载相应的网页数据,并保存至所述任务调度服务单元的第二消息队列;
所述任务调度服务单元用于接收所述网络爬虫发送的网页下载请求,并保存至第一消息队列;以及,将所述第二消息队列中的网页数据返回至请求网页下载的相应网络爬虫。
7.如权利要求6所述的系统,其特征在于,所述网络爬虫具体包括:
连接子单元,用于向任务调度服务单元发起TCP连接;
下载请求子单元,用于向任务调度服务单元发送网页下载请求;
数据接收子单元,用于接收任务调度服务单元返回的对应网页数据,并在网页数据接收完成后断开所述网络爬虫与任务调度服务单元的连接。
8.如权利要求6所述的系统,其特征在于,所述任务调度服务单元具体包括:
第一消息队列,用于接收并保存所述网络爬虫发送的网页下载请求;
第二消息队列,用于接收并保存所述上网客户端下载的网页数据;
队列监控子单元,用于监听所述第二消息队列的状态,当有新的网页数据保存至第二消息队列时,读取该新的网页数据,并返回至请求网页下载的相应网络爬虫。
9.如权利要求6所述的系统,其特征在于,所述上网客户端具体包括:
任务获取子单元,用于判断所述第一消息队列的状态;当第一消息队列不为空时,请求所述任务调度服务单元从第一消息队列读取一个网页下载请求;当第一消息队列为空时,循环等待直至所述第一消息队列不为空;
下载子单元,用于根据所述任务获取子单元获取的网页下载请求中包括的URL地址通过互联网下载相应的网页数据,并保存至所述任务调度服务单元的第二消息队列。
10.如权利要求9所述的系统,其特征在于,所述上网客户端还包括网络监控子单元,用于监控所述上网客户端网络状态;当所述上网客户端具有空闲的网络连接资源时,调度所述任务获取子单元和下载子单元执行相应的任务获取和网页下载功能。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于厦门市美亚柏科信息股份有限公司,未经厦门市美亚柏科信息股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201410149901.7/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种抗单涤纶面料及其生产方法
- 下一篇:一种印花抗单面料及其生产方法