[发明专利]一种数据批量导入方法、装置及电子设备

说明书

本申请涉及一种数据批量导入方法、装置及电子设备，其中方法包括：获取待导入数据以及参照数据库。待导入数据是待导入目标数据库的数据，参照数据库包含多个第一位置，参照数据库中与已存储数据对应的第一位置保存有指定标记，已存储数据是目标数据库中存储的数据，第一位置和已存储数据之间的对应关系是采用指定方式确定出的；针对每个待导入数据，采用指定方式，确定参照数据库中与之对应的第一位置；在待导入数据对应的第一位置中未保存有指定标记的情况下，将待导入数据导入目标数据库。通过本说明书中的过程，能够有效的解决相关技术中存在的针对批量的待导入数据执行数据导入时，在查找重复时间的过程中耗费的时间较多的问题。

技术领域

本申请涉及数据处理领域，尤其涉及一种数据批量导入方法、装置及电子设备。

背景技术

相关技术中，将批量的数据导入目标数据库的做法通常是：获取一个待导入的数据，遍历目标数据库中的已存储数据，以查找目标数据库中是否已存储有与待导入数据相同的已存储数据，若是，表明该待存储数据相对于目标数据库中的数据是重复数据，则不对其执行导入操作。如果目标数据库中已存储的数据较多，则在判断待导入数据是否是重复数据的过程中执行查找所耗费的时间较多。在待导入数据也较多的情况下，由查找造成的数据导入效率低下的现象将更加明显。

发明内容

本申请提供了一种数据批量导入方法、装置及电子设备，以解决现有技术中存在的针对批量的待导入数据进行数据导入时耗费的时间较多的问题。

第一方面，本申请提供了一种数据批量导入方法，该方法包括：获取待导入数据和参照数据库，其中，待导入数据是待导入目标数据库的数据，参照数据库包含多个第一位置，参照数据库中与已存储数据对应的第一位置保存有指定标记，已存储数据是目标数据库中存储的数据，第一位置和已存储数据之间的对应关系是采用指定方式确定出的；针对每个待导入数据，采用指定方式，确定参照数据库中与之对应的第一位置；在待导入数据对应的第一位置中未保存有指定标记的情况下，将待导入数据导入目标数据库。

在本说明书一个可选的实施例中，获取参照数据库之后，该方法还包括：针对每个待导入数据，若待导入数据在参照数据库中对应的第一位置中保存有指定标记，则对目标数据库中的各已存储数据进行查找；若未查找到与待导入数据相同的已存储数据，则将待导入数据导入目标数据库。

在本说明书一个可选的实施例中，参照数据库还包括多个第二位置，每个第一位置至少对应一个第二位置，第二位置中保存的已存储数据是与第二位置对应的第一位置在目标数据中对应的已存储数据，其中，获取参照数据库之后，该方法还包括：针对每个待导入数据，若待导入数据在参照数据库中对应的第一位置中保存有指定标记，则将待导入数据在参照数据库中对应的第一位置确定为指定位置；在指定位置对应的第二位置中的已存储数据与待导入数据不同的情况下，将待导入数据导入目标数据库。

在本说明书一个可选的实施例中，将待导入数据导入目标数据库，包括：将指定标记保存至待导入数据在参照数据库中对应的第一位置中，并将待导入数据导入目标数据库。

在本说明书一个可选的实施例中，目标数据库建立于存储设备的磁盘中，存储设备还包括内存，其中，获取参照数据库，包括：在内存中，确定出指定区域；将数据库模板存储至指定区域；将指定标记保存至数据库模板中对应有已存储数据的第一位置中，得到参照数据库。

在本说明书一个可选的实施例中，获取参照数据库，包括：针对每个已存储数据进行哈希计算，根据哈希计算得到的第一结果确定第一目标角标，将数据块模板中对应于第一目标角标的第一位置，作为已存储数据对应的第一位置，将指定标记保存至已存储数据对应的第一位置中，得到参照数据库；针对每个待导入数据，采用指定方式，确定参照数据库中与之对应的第一位置，包括：针对每个待导入数据进行哈希计算，根据哈希计算得到的第二结果确定第二目标角标，将数据块模板中对应于第二目标角标的第一位置，作为参照数据库中与之对应的第一位置。