[发明专利]分布式网页下载方法和系统

权利要求书

1.一种分布式网页下载方法，其特征在于，执行所述方法的系统包括任务调度服务单元、2个以上的网络爬虫以及2个以上分布在不同地理位置具有不同IP地址的上网客户端，所述方法包括：

所述网络爬虫向任务调度服务单元发送网页下载请求，所述下载请求包括所述网页的URL地址；

所述任务调度服务单元接收并将上述网页下载请求保存至第一消息队列；

所述上网客户端从所述任务调度服务单元的第一消息队列获取一个网页下载请求，根据所述URL地址下载相应的网页数据，保存至所述任务调度服务单元的第二消息队列；

所述任务调度服务单元将所述第二消息队列中的网页数据返回至请求网页下载的相应网络爬虫。

2.如权利要求1所述的方法，其特征在于，在所述网络爬虫向任务调度服务单元发送网页下载请求步骤之前，还包括：

所述网络爬虫向任务调度服务单元发起TCP连接，并保持连接，直至收到任务调度服务单元返回对应的网页数据。

3.如权利要求1所述的方法，其特征在于，所述上网客户端从所述任务调度服务单元的第一消息队列获取一个网页下载请求，具体包括：

判断所述第一消息队列是否为空；

若是，则循环等待直至所述第一消息队列不为空；否则，所述任务调度服务单元从第一消息队列读取一个网页下载请求，并返回给所述上网客户端。

4.如权利要求1所述的方法，其特征在于，所述任务调度服务单元将所述第二消息队列中的网页数据返回至请求网页下载的相应网络爬虫，具体包括：

所述任务调度服务单元监听第二消息队列的状态，当有新的网页数据保存至第二消息队列时，读取该新的网页数据，并返回至请求网页下载的相应网络爬虫。

5.如权利要求1所述的方法，其特征在于，向任务调度服务单元发起获取网页下载请求的上网客户端具有空闲的网络连接资源。

6.一种分布式网页下载系统，其特征在于，包括任务调度服务单元、2个以上的网络爬虫以及2个以上分布在不同地理位置具有不同IP地址的上网客户端，所述任务调度服务单元与所述上网客户端通过因特网连接，其中：

所述网络爬虫用于向任务调度服务单元发送网页下载请求，以及接收所述任务调度服务单元返回的网页数据；所述下载请求包括所述网页的URL地址；

所述上网客户端用于从所述任务调度服务单元的第一消息队列获取一个网页下载请求，根据所述URL地址通过互联网下载相应的网页数据，并保存至所述任务调度服务单元的第二消息队列；

所述任务调度服务单元用于接收所述网络爬虫发送的网页下载请求，并保存至第一消息队列；以及，将所述第二消息队列中的网页数据返回至请求网页下载的相应网络爬虫。

7.如权利要求6所述的系统，其特征在于，所述网络爬虫具体包括：

连接子单元，用于向任务调度服务单元发起TCP连接；

下载请求子单元，用于向任务调度服务单元发送网页下载请求；

数据接收子单元，用于接收任务调度服务单元返回的对应网页数据，并在网页数据接收完成后断开所述网络爬虫与任务调度服务单元的连接。

8.如权利要求6所述的系统，其特征在于，所述任务调度服务单元具体包括：

第一消息队列，用于接收并保存所述网络爬虫发送的网页下载请求；

第二消息队列，用于接收并保存所述上网客户端下载的网页数据；

队列监控子单元，用于监听所述第二消息队列的状态，当有新的网页数据保存至第二消息队列时，读取该新的网页数据，并返回至请求网页下载的相应网络爬虫。

9.如权利要求6所述的系统，其特征在于，所述上网客户端具体包括：

任务获取子单元，用于判断所述第一消息队列的状态；当第一消息队列不为空时，请求所述任务调度服务单元从第一消息队列读取一个网页下载请求；当第一消息队列为空时，循环等待直至所述第一消息队列不为空；

下载子单元，用于根据所述任务获取子单元获取的网页下载请求中包括的URL地址通过互联网下载相应的网页数据，并保存至所述任务调度服务单元的第二消息队列。

10.如权利要求9所述的系统，其特征在于，所述上网客户端还包括网络监控子单元，用于监控所述上网客户端网络状态；当所述上网客户端具有空闲的网络连接资源时，调度所述任务获取子单元和下载子单元执行相应的任务获取和网页下载功能。