[发明专利]用于下载网站数据的分布式方法和系统

权利要求书

1.一种用于下载网站数据的分布式方法，包括以下步骤：

设定一个或多个下载组，

在数据库中针对每个下载组维护相应的网站列表；

一个或多个下载模块中的每个下载模块根据针对与其相关联的下载组所维护的网站列表来获取相应网站的一个或多个下载队列；以及

所述每个下载模块根据所述一个或多个下载队列来进行下载。

2.根据权利要求1所述的方法，其中，通过在启动所述下载模块时指定组名，将所述下载模块和与所述组名相关联的下载组相关联。

3.根据权利要求1所述的方法，其中，当在启动所述下载模块时未指定组名时，将所述下载模块与缺省下载组相关联。

4.根据权利要求1所述的方法，其中，所述网站列表中的记录均具有下次下载时间项，以及下载模块根据针对与其相关联的下载组所维护的网站列表来获取相应网站的一个或多个下载队列的步骤还包括：

所述下载模块仅获取下次下载时间项的值小于当前时间的记录来获取相应网站的一个或多个下载队列。

5.根据权利要求4所述的方法，其中，所述一个或多个下载模块至少包括第一下载模块和第二下载模块，以及在获得网站列表的同时如下更新所述下次下载时间项的值：

针对所述第一下载模块，所述下次下载时间项的值等于当前时间与爬取间隔之和；以及

针对所述第二下载模块，所述下次下载时间项的值等于当前时间、下载超时时间、以及下载间隔之和。

6.根据权利要求5所述的方法，其中，所述爬取间隔是2秒。

7.根据权利要求5所述的方法，其中，所述下载间隔是10秒。

8.根据权利要求5所述的方法，其中，针对所述第二下载模块，在完成下载之后，使用当前时间与下载间隔之和再次更新所述下次下载时间项。

9.根据权利要求5所述的方法，其中，所述第一下载模块以固定时间间隔来获取网站列表。

10.根据权利要求5所述的方法，其中，所述第二下载模块在预定事件发生时获取网站列表，同时也以固定时间间隔来获取网站列表。

11.根据权利要求1所述的方法，其中，通过向网站列表中插入/移除记录来控制针对相应网站的下载的启动/停止。

12.根据权利要求1所述的方法，还包括：

根据网站的结构设置爬取规则；

根据所述爬取规则，使用与测试专用组相关联的下载模块来尝试下载所述网站的数据；

检查下载到的数据，确认是否存在异常，如果存在异常，则在本地调试所述爬取规则并解决导致异常出现的问题；

在确认数据正常之后，清除所述测试专用组；以及

在目标组中正式启动相应下载模块来下载所述网站的数据。

13.根据权利要求1所述的方法，还包括：

查询统计信息，检查是否存在网站数据的下载异常；

如果存在异常，则停止发生异常的下载；

根据针对下载异常的网站的爬取规则，使用与测试专用组相关联的下载模块来尝试下载所述网站的数据；

检查下载到的数据，确认是否存在异常，如果存在异常，则在本地调试所述爬取规则并解决导致异常出现的问题；

在确认数据正常之后，清除所述测试专用组；以及

正式启动和与下载异常的网站相对应的下载组相关联的下载模块来重新下载所述网站的数据。

14.根据权利要求4所述的方法，其中，所述当前时间以所述数据库中的时间为准。

15.根据权利要求1所述的方法，还包括：

如果针对下载队列中的地址下载失败，则将所述地址以较低优先级置回所述下载队列中，以便重新调度下载。

16.一种用于下载网站数据的分布式系统，包括：

控制器，用于设定一个或多个下载组，

数据库，用于针对每个下载组来维护相应的网站列表；以及

一个或多个下载模块，每个下载模块用于根据针对与其相关联的下载组所维护的网站列表来获取相应网站的一个或多个下载队列，以及根据所述一个或多个下载队列来进行下载。