[发明专利]一种大批量数据导入方法、装置、计算机设备及存储介质

说明书

本申请实施例属于大数据领域，涉及一种大批量数据导入方法，所述方法包括：在接收到数据导入请求后，获取与所述数据导入请求相对应的待导入数据；采集系统当前的实时内存信息，所述实时内存信息至少携带有物理内存大小、实时占存以及实时占存比率；获取所述系统预设的最佳占存比率；根据系统当前的实时内存信息，通过预设规则获取与所述最佳占存比率相对应的最佳导入量；在所述待导入数据中分批次获取与所述最佳导入量相对应的实时导入数据；将每次获取的所述实时导入数据分批导入系统数据库。本申请还提供一种大批量数据导入装置、计算机设备及存储介质。本申请极大缩短导入时间，提高数据导入效率低，同时，避免由于内存不足导致系统崩溃的问题。

技术领域

本申请涉及大数据技术领域，尤其涉及一种大批量数据导入方法、装置、计算机设备及存储介质。

背景技术

随着计算机技术和网络时代的推进，批量导入技术已经得到了非常广泛的应用。特别在一些与传统行业结合的系统中，存在大量传统行业数据需要进行电子化存储，这时一般都会利用批量导入的相关技术。

现有一种批量导入的方法，在接收到数据导入请求之后，一次性将该数据导入系统数据库中，从而实现128M以下小批量数据的导入。

然而，传统的批量导入方法普遍不智能，当需要导入的数据较大时，通过传统的批量导入方法将耗费较长的时间，导入效率低；同时，由于系统可用的内存有限，通过传统的批量导入方法导入往往需要占用系统大量的内存，容易造成内存不足，甚至导致整个系统崩溃。

发明内容

本申请实施例的目的在于提出一种大批量数据导入方法，旨在解决现有的批量导入方法导入大批量数据时耗时过长、效率低，容易造成系统内存不足，甚至导致整个系统崩溃的问题。

为了解决上述技术问题，本申请实施例提供一种大批量数据导入方法，采用了如下所述的技术方案：

在接收到数据导入请求后，获取与所述数据导入请求相对应的待导入数据；

采集系统当前的实时内存信息，所述实时内存信息至少携带有物理内存大小、实时占存以及实时占存比率；

获取所述系统预设的最佳占存比率；

根据系统当前的实时内存信息，通过预设规则获取与所述最佳占存比率相对应的最佳导入量；

在所述待导入数据中分批次获取与所述最佳导入量相对应的实时导入数据；

将每次获取的所述实时导入数据分批导入系统数据库。

为了解决上述技术问题，本申请实施例还提供一种大批量数据导入装置，采用了如下所述的技术方案：

请求接收模块，用于在接收到数据导入请求后，获取与所述数据导入请求相对应的待导入数据；

信息采集模块，用于采集系统当前的实时内存信息，所述实时内存信息至少携带有物理内存大小、实时占存以及实时占存比率；

占存比率获取模块，用于获取所述系统预设的最佳占存比率；

导入量获取模块，用于根据系统当前的实时内存信息，通过预设规则获取与所述最佳占存比率相对应的最佳导入量；

导入数据获取模块，用于在所述待导入数据中分批次获取与所述最佳导入量相对应的实时导入数据；

数据导入模块，用于将每次获取的所述实时导入数据分批导入系统数据库。

为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：

包括存储器和处理器；

所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现如上所述的大批量数据导入方法的步骤。