[发明专利]数据采集系统及方法

权利要求书

1.一种数据采集系统，其特征在于，包括：多个存储器、监控器、任务分配器和多个采集器；

其中，所述多个存储器用于：获得多个待采集任务，将多个待采集任务的信息进行分布式存储；

所述监控器用于：监控各个采集器的实时状态；

所述任务分配器用于：根据所述各个采集器的实时状态和所述多个待采集任务，确定每个采集器的目标待采集任务；

每个采集器用于：根据所述目标待采集任务，在所述多个存储器中查找目标待采集任务的信息；根据所述目标待采集任务的信息，采集数据。

2.如权利要求1所述的系统，其特征在于，根据所述各个采集器的实时状态和所述多个待采集任务，确定每个采集器的目标待采集任务，包括：

根据所述各个采集器的实时状态，确定可用的采集器；

将所述多个待采集任务按照预设规则划分为多组目标待采集任务；

根据所述可用的采集器和所述多组目标待采集任务，确定每个采集器的目标待采集任务。

3.如权利要求1所述的系统，其特征在于，所述多个采集器还用于：在待采集任务完成后，向所述任务分配器上报待采集任务的执行状态。

4.如权利要求3所述的系统，其特征在于，所述任务分配器还用于：

根据所述待采集任务的执行状态，确定采集失败的任务；

根据所述各个采集器的实时状态，确定可用的采集器；

根据所述可用的采集器和所述采集失败的任务，将采集失败的任务分配至各个可用的采集器。

5.如权利要求1所述的系统，其特征在于，所述系统还包括：调度器，用于设置所述任务分配器的调度周期；

所述任务分配器还用于：根据所述调度周期，将多个待采集任务分配至各个采集器。

6.一种数据采集方法，其特征在于，包括：

多个存储器获得多个待采集任务，将多个待采集任务的信息进行分布式存储；

监控器监控各个采集器的实时状态；

任务分配器根据所述各个采集器的实时状态和所述多个待采集任务，确定每个采集器的目标待采集任务；

每个采集器根据所述目标待采集任务，在所述多个存储器中查找目标待采集任务的信息；根据所述目标待采集任务的信息，采集数据。

7.如权利要求6所述的方法，其特征在于，根据所述各个采集器的实时状态和所述多个待采集任务，确定每个采集器的目标待采集任务，包括：

根据所述各个采集器的实时状态，确定可用的采集器；

将所述多个待采集任务按照预设规则划分为多组目标待采集任务；

根据所述可用的采集器和所述多组目标待采集任务，确定每个采集器的目标待采集任务。

8.如权利要求6所述的方法，其特征在于，还包括：

多个采集器在待采集任务完成后，向所述任务分配器上报待采集任务的执行状态；

所述任务分配器根据所述待采集任务的执行状态，确定采集失败的任务；

根据所述各个采集器的实时状态，确定可用的采集器；

根据所述可用的采集器和所述采集失败的任务，将采集失败的任务分配至各个可用的采集器。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求6至8任一所述方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求6至8任一所述方法的计算机程序。