[发明专利]一种数据入库方法、系统及电子设备和存储介质

权利要求书

1.一种数据入库方法，其特征在于，包括：

将采集到的数据保存至预先按照分区策略创建的临时数据表中；所述临时数据表的存储格式为sequence格式；

生成入库任务，并根据所述入库任务将所述临时数据表中的数据导入至目标库中预先按照所述分区策略创建的目标数据表中；所述目标数据表的存储格式为parquet格式。

2.根据权利要求1所述的数据入库方法，其特征在于，所述将采集到的数据保存至预先按照分区策略创建的临时数据表中，包括：

根据预设写入配置将采集到的数据保存至预先按照分区策略创建的临时数据表中；其中，所述预设写入配置包括文件分割周期和目录分割周期中的至少一项。

3.根据权利要求1所述的数据入库方法，其特征在于，所述生成入库任务之前，还包括：

根据预先配置的任务开始时间以及当前时间判断是否生成入库任务。

4.根据权利要求3所述的数据入库方法，其特征在于，所述根据预先配置的任务开始时间以及当前时间判断是否生成入库任务，包括：

获取所述任务开始时间和调度时间的间隔分钟数；所述调度时间为所述当前时间向后偏移预定时间得到的时间；

确定所述间隔分钟数对预先配置的任务周期进行求余计算得到的计算结果；

若计算结果为零，则允许生成所述入库任务。

5.根据权利要求1所述的数据入库方法，其特征在于，所述根据所述入库任务将所述临时数据表中的数据导入至目标库中预先按照所述分区策略创建的目标数据表中的过程中，还包括：

基于预设数据清洗条件对数据进行过滤，以过滤异常数据。

6.根据权利要求1所述的数据入库方法，其特征在于，所述根据所述入库任务将所述临时数据表中的数据导入至目标库中预先按照所述分区策略创建的目标数据表中，包括：

初始化共享队列，并生成生产者进程和消费者进程；

利用所述生产者进程根据入库任务配置生成入库任务，并将所述入库任务写入所述共享队列中；

利用所述消费者进程执行所述共享队列中的所述入库任务，以便将所述临时数据表中的数据导入至所述目标数据表中。

7.根据权利要求1所述的数据入库方法，其特征在于，所述根据所述入库任务将所述临时数据表中的数据导入至目标库中预先按照所述分区策略创建的目标数据表中之后，还包括：

对所述临时数据表中已经成功入库的数据进行清理操作。

8.根据权利要求1所述的数据入库方法，其特征在于，还包括：

记录数据从所述临时数据表中导入至所述目标数据表中的过程，生成入库日志。

9.根据权利要求1至8任一项所述的数据入库方法，其特征在于，还包括：

获取入库失败的待补录入库任务，对所述待补录入库任务的数据进行重新导入操作。

10.一种数据入库系统，其特征在于，包括：

数据保存模块，用于将采集到的数据保存至预先按照分区策略创建的临时数据表中；所述临时数据表的存储格式为sequence格式；

数据入库模块，用于生成入库任务，并根据所述入库任务将所述临时数据表中的数据导入至目标库中预先按照所述分区策略创建的目标数据表中；其中，所述目标数据表的存储格式为parquet格式。

11.一种电子设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至9任一项所述数据入库方法的步骤。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至9任一项所述数据入库方法的步骤。