[发明专利]一种数据采集方法、电子设备及存储介质

权利要求书

1.一种数据采集方法，用于生成目标数据库，其特征在于，所述数据采集方法包括步骤：

S1、根据预设的入库时间间隔周期性地采集源数据库中的新增源数据集，所述新增源数据集包括多个具有采样时间信息的新增源数据；

S2、根据所述入库时间间隔的数量创建对应数量的临时表；

S3、根据所述采样时间信息所在的分布区间和预设的第一并发数量将所述新增源数据集中的新增源数据分别写入对应的临时表，所述第一并发数量为同时写入临时表中的新增源数据的数量；

S4、根据所述新增源数据集的采集时间生成关于临时表和预先创建的正式表的任务信息；

S5、根据所述任务信息将对应的临时表中的所有新增源数据写入对应的正式表，并在完成写入后，删除所述任务信息对应的临时表。

2.根据权利要求1所述的数据采集方法，其特征在于，所述步骤S1包括：

S11、周期性地获取最后采集时间和当前时间的差值；

S12、若所述差值大于等于预设的入库时间间隔，采集源数据库中的新增源数据集，并将所述当前时间设为新的最后采集时间。

3.根据权利要求1所述的数据采集方法，其特征在于，所述任务信息包括目标临时表名、与所述目标临时表名对应的目标正式表名及任务状态信息，所述步骤S5包括以下步骤：

S51、根据所述目标临时表名将对应的临时表中的新增源数据写入至所述目标正式表名对应的正式表中，并根据写入进程更新所述任务状态信息；

S52、在所述任务状态信息标识写入完成时，删除所述目标临时表名对应的临时表。

4.根据权利要求3所述的数据采集方法，其特征在于，所述任务状态信息为0时标识未开始将对应的临时表中的新增源数据写入至所述目标正式表名对应的正式表中，所述任务状态信息为1时标识正在将对应的临时表中的新增源数据写入至所述目标正式表名对应的正式表中，所述任务状态信息为2时标识完成将对应的临时表中的新增源数据写入至所述目标正式表名对应的正式表中。

5.根据权利要求3所述的数据采集方法，其特征在于，所述步骤S51包括步骤：

S511、根据所述目标临时表名和预设的第二并发数量将对应的临时表中的新增源数据写入至目标正式表名对应的正式表中，并根据写入进程更新所述任务状态信息，所述第二并发数量为同时写入正式表中的新增源数据的数量。

6.根据权利要求1所述的数据采集方法，其特征在于，所述步骤S3包括：

S31、根据所述采样时间信息对所述新增源数据集中的新增源数据进行排序；

S32、根据所述采样时间信息所在的分布区间和预设的第一并发数量将排序好的新增源数据分别写入对应的多个临时表。

7.根据权利要求1所述的数据采集方法，其特征在于，所述入库时间间隔为10-30分钟。

8.根据权利要求1所述的数据采集方法，其特征在于，所述正式表的预先创建过程为：

根据预设的间隔时间创建所述正式表。

9.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如权利要求1-8任一项所述方法中的步骤。

10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时运行如权利要求1-8任一项所述方法中的步骤。