[发明专利]一种大批量数据导入方法、装置、计算机设备及存储介质

权利要求书

1.一种大批量数据导入方法，其特征在于，所述方法包括如下步骤：

在接收到数据导入请求后，获取与所述数据导入请求相对应的待导入数据；

采集系统当前的实时内存信息，所述实时内存信息至少携带有物理内存大小、实时占存以及实时占存比率，所述实时占存为所述系统当前物理内存以及虚拟内存中所有占用的内存，所述实时占存比率为所述系统当前进程占用所有内存的比率；

获取所述系统预设的最佳占存比率；

根据系统当前的实时内存信息，通过预设规则获取与所述最佳占存比率相对应的最佳导入量；

在所述待导入数据中分批次获取与所述最佳导入量相对应的实时导入数据；

将每次获取的所述实时导入数据分批导入系统数据库；

在所述通过预设规则获取与所述最佳占存比率相对应的最佳导入量步骤之后，还包括如下步骤：

根据所述最佳导入量以及所述待导入数据大小计算预导入时间；

判断所述预导入时间是否满足预设的预算时间；

若判断结果为否，则根据所述待导入数据大小以及所述预算时间计算准时导入量；

在所述待导入数据中分批次获取与所述准时导入量相对应的准时导入数据；

启用虚拟内存，并将每次获取的所述准时导入数据通过所述物理内存大小以及所述虚拟内存分批导入所述系统数据库。

2.根据权利要求1所述的大批量数据导入方法，其特征在于，所述根据系统当前的实时内存信息，通过预设规则获取与所述最佳占存比率相对应的最佳导入量的步骤，具体包括如下步骤：

判断所述最佳占存比率是否大于所述实时占存比率；

若判断结果为是，则所述最佳导入量D2表示为：

D2＝D*P0-D1；

若判断结果为否，则所述最佳导入量D2表示为：

D2＝D*[(1-P1)*P0]；

其中，D为所述物理内存大小、D1为所述实时占存、P1为所述实时占存比率以及P0为所述最佳占存比率。

3.根据权利要求1所述的大批量数据导入方法，其特征在于，在所述采集系统当前的实时内存信息的步骤之前，还包括如下步骤：

在历史导入任务中获取预设时间段内的历史平均导入量以及满足所述历史平均导入量的导入记录；

在所述导入记录中采集导入效率最高的高效导入量以及与所述高效导入量相对应的高效占存量；

在所述根据系统当前的实时内存信息，通过预设规则获取与所述最佳占存比率相对应的最佳导入量的步骤之后，还包括如下步骤：

判断与所述物理内存大小相对应的最佳占存量是否大于所述高效占存量；

若判断结果为否，则启用虚拟内存，并将每次获取的所述实时导入数据通过所述物理内存大小以及所述虚拟内存分批导入所述系统数据库。

4.根据权利要求3所述的大批量数据导入方法，其特征在于，所述启用虚拟内存的步骤，具体包括如下步骤：

当所述高效占存量小于128兆时，将所述虚拟内存的第一最小值设置为所述系统当前内存的1～1.75倍，并将所述虚拟内存的第一最大值设置为所述第一最小值的2～3倍；

当所述高效占存量在128兆～256兆之间时，将所述虚拟内存的第二最小值设置为所述系统当前内存的1～1.5倍，并将所述虚拟内存的第二最大值设置为所述第二最小值的2～3倍。

5.根据权利要求1所述的大批量数据导入方法，其特征在于，所述将每次获取的所述实时导入数据分批导入系统数据库的步骤，具体包括如下步骤：

将所述实时导入数据导入缓存区或者中间数据库中；

将所述缓存区或者中间数据库中的临时数据导入系统数据库中，并得到导入结果，所述导入结果用于指示所述临时数据是否成功导入所述系统数据库中；

当所述导入结果指示成功时，删除所述缓存区或者中间数据库中的所述临时数据。