[发明专利]一种基于时间调度的数据采集方法

权利要求书

1.一种基于时间调度的数据采集方法，其特征在于，所述方法包括：

确定数据采集任务，所述数据采集任务包括：源数据存储地址、本地数据存储地址和子任务序列；

所述子任务序列包括按照顺序排列的至少一个子任务，每个所述子任务包括第一采集时间和第二采集时间，其中第一采集时间为该所述子任务的起始时间，所述第二采集时间为该所述子任务的结束时间；

根据所述源数据存储地址，确定至少一个源数据，其中所述源数据包括时间信息；

针对每个所述子任务进行数据采集，采集所述源数据库中时间信息大于或等于所述第一采集时间，且小于或等于所述第二采集时间的数据，得到至少一个采集数据；

将采集得到的所述至少一个采集数据存储至所述本地数据存储地址。

2.根据权利要求1所述的方法，其特征在于，所述子任务还包括任务类型，所述任务类型为第一任务类型、第二任务类型或第三任务类型；

当所述任务类型为第二任务类型时，所述第一采集时间为无穷远；

当所述任务类型为第三任务类型时，所述第二采集时间为无穷远。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

针对每个子任务，根据该所述子任务的所述第一采集时间和所述第二采集时间，确定采集时间段；

所述子任务序列中每个所述子任务所对应的所述采集时间段无重叠部分。

4.根据权利要求1-3任意一项所述的方法，其特征在于，所述数据采集任务还包括回退时间；

根据所述回退时间对第一子任务的所述第二采集时间进行调整，将所述第二采集时间调整为第三采集时间，其中，所述第一子任务为所述数据采集任务的所述子任务序列中所述第二采集时间最大的子任务；

针对所述第一子任务，所述对所述源数据库中时间信息大于或等于所述第一采集时间，且小于或等于所述第二采集时间的数据进行采集，得到至少一个采集数据，包括：

对所述源数据库中时间信息大于或等于所述第一采集时间，且小于或等于所述第三采集时间的数据进行采集，得到至少一个采集数据。

5.根据权利要求1-3任意一项所述的方法，其特征在于，所述数据采集任务还包括回退时间；

根据所述回退时间对第二子任务的所述第一采集时间进行调整，将所述第一采集时间调整为第四采集时间，其中，所述第二子任务为所述数据采集任务的所述子任务序列中所述第一采集时间最小的子任务；

将存储在所述本地数据存储地址中时间信息大于或等于所述第四采集时间，且小于或等于所述第一采集时间的本地数据进行删除；

针对所述第二子任务，所述对所述源数据库中时间信息大于或等于所述第一采集时间，且小于或等于所述第二采集时间的数据进行采集，得到至少一个采集数据，包括：

对所述源数据库中时间信息大于或等于所述第四采集时间，且小于或等于所述第二采集时间的数据进行采集，得到至少一个采集数据。

6.根据权利要求1-3任意一项所述的方法，其特征在于，在对所述源数据库进行数据采集之前，所述方法还包括：

检测存储在所述本地数据存储地址中的本地数据是否完整；

若所述本地数据不完整，则删除不完整的所述本地数据并根据剩余所述本地数据的时间信息确定第五采集时间；

针对第二子任务，所述对所述源数据库中时间信息大于或等于所述第一采集时间，且小于或等于所述第二采集时间的数据进行采集，得到至少一个采集数据，包括：

对所述源数据库中时间信息大于或等于所述第五采集时间，且小于或等于所述第二采集时间的数据进行采集，得到至少一个采集数据，其中，所述第二子任务为所述数据采集任务的所述子任务序列中所述第一采集时间最小的子任务。