[发明专利]数据库批量导入方法、装置、电子设备及存储介质

说明书

本发明提供一种数据库批量导入方法、装置、电子设备及存储介质，可应用于大数据领域或金融领域，面向Oracle数据库，对于待导入的目标表格和目标区分，能够通过生成其控制文件，将对应的目标源数据文件在目标分区下的数据导入至该目标表格的目标分区下。基于本发明，能够在面对Oracle数据库海量数据文件时，自动化将数据导入相应表的分区下，提高导入效率、降低耗费时间。

技术领域

本发明涉及大数据技术领域，更具体地说，涉及一种数据库批量导入方法、装置、电子设备及存储介质。

背景技术

Oracle数据库中有海量的数据文件需要导入Oracle数据库对应的表中。传统的数据导入方式主要有手动编写SQLLDR工具的控制文件、以及使用特定的工具两种。

其中，手动编写SQLLDR工具的控制文件进行数据导入时，由于控制文件涉及大量的控制参数，因此也会存在效率低下、耗费时间长、无法快速导入大量数据的问题；使用特定的工具，如PLSQL Developer进行数据导入时，需要特定源格式的数据文件，无法处理多种平面格式文件的源数据，因此无法实现多种源数据文件的并发导入。

发明内容

有鉴于此，为解决上述问题，本发明提供一种数据库批量导入方法、装置、电子设备及存储介质，技术方案如下：

一种数据库批量导入方法，所述方法包括：

获取输入参数，所述输入参数能够指示待导入的目标表格和目标分区；

根据已获取的源数据文件所关联的表格和分区，确定所述目标表格对应的目标源数据文件；

生成所述目标表格对应的控制文件，通过所述控制文件将所述目标源数据文件在所述目标分区下的数据导入至所述目标表格的目标分区下。

优选的，获取所述源数据文件所关联的表格和分区的方式，包括：

获取已配置的源数据表清单列表和分区号列表，所述源数据表清单列表中记录有所述源数据文件与其表格的第一关联关系，所述分区号列表中记录有各表格与其分区的第二关联关系；

根据所述第一关联关系和所述第二关联关系确定所述源数据文件所关联的表格和分区。

优选的，所述生成所述目标表格对应的控制文件，包括：

针对每个目标表格，调用已配置的执行脚本，通过所述执行脚本调用已配置的SQL语句生成该目标表格对应的控制文件。

优选的，所述通过所述执行脚本调用已配置的SQL语句生成该目标表格对应的控制文件，包括：

通过所述执行脚本调用所述SQL语句生成与该目标表格的目标分区相对应的控制文件，一个目标分区对应一个控制文件。

优选的，所述源数据文件为DAT文件。

一种数据库批量导入装置，所述装置包括：

参数获取模块，用于获取输入参数，所述输入参数能够指示待导入的目标表格和目标分区；

批量导入模块，用于根据已获取的源数据文件所关联的表格和分区，确定所述目标表格对应的目标源数据文件；生成所述目标表格对应的控制文件，通过所述控制文件将所述目标源数据文件在所述目标分区下的数据导入至所述目标表格的目标分区下。

优选的，用于生成所述目标表格对应的控制文件的所述批量导入模块，具体用于：

针对每个目标表格，调用已配置的执行脚本，通过所述执行脚本调用已配置的SQL语句生成该目标表格对应的控制文件。

优选的，用于通过所述执行脚本调用已配置的SQL语句生成该目标表格对应的控制文件的所述批量导入模块，具体用于：