[发明专利]数据分页导出方法、装置、计算机设备和存储介质

说明书

本申请提供了一种数据分页导出方法、装置、计算机设备和存储介质，其中，该方法包括：接收数据导出请求，其中，数据导出请求中携带有导出条件；响应于数据导出请求，查询符合导出条件的多条目标记录；获取预设导出条数、系统当前已使用内存和系统总内存；根据预设导出条数确定分页导出预计要占用的内存；根据预设导出条数、分页导出预计要占用的内存、系统当前已使用内存和系统总内存确定分页导出条数；从多条目标记录中导出分页导出条数的目标记录并存入目标文件中。上述方法可以有效规避系统内存溢出，并且最大化利用系统资源，最终提高导出效率以及改善用户体验。

技术领域

本申请涉及计算机数据导出处理技术领域，特别涉及一种数据分页导出方法、装置、计算机设备和存储介质。

背景技术

目前，日常工作和生活中会用到各类应用软件系统。通常，系统一般都会在页面提供数据导出或下载的功能，导出形式多种多样。最常见的导出形式以二维表格的形式导出，例如导出一个excel表格数据。对于数据导出，用户使用非常频繁，而且数据导出给系统的使用人员带来了便捷，成为日常不可或缺的一部分。

然而，数据导出功能非常消耗虚拟机内存，若控制不当，容易引发内存溢出事件，从而导致系统崩溃，且分析排查难度大。为了防止数据导出功能引发内存溢出，通常在导出功能设计上会采取一些常规的规避措施，例如，通过设定阈值来限制最大日期区间或导出条数、限制导出进程并发数、控制同时使用导出功能的人员数或采用提交异步导出任务稍后查询下载等诸多方式。但是这些常规的规避措施的效果欠佳，而且存在易用性较差、业务体验欠佳、以及软硬件资源使用不充分等诸多问题。

针对上述问题，目前尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种数据分页导出方法、装置、计算机设备和存储介质，以解决现有技术中的数据导出方法不能有效防止内存溢出事件的问题。

本申请实施例提供了一种数据分页导出方法，包括：接收数据导出请求，其中，数据导出请求中携带有导出条件；响应于数据导出请求，查询符合导出条件的多条目标记录；获取预设导出条数、系统当前已使用内存和系统总内存；根据预设导出条数确定分页导出预计要占用的内存；根据预设导出条数、分页导出预计要占用的内存、系统当前已使用内存和系统总内存确定分页导出条数；从多条目标记录中导出分页导出条数的目标记录并存入目标文件中。

在一个实施例中，根据预设导出条数、分页导出预计要占用的内存、系统当前已使用内存和系统总内存确定分页导出条数，包括：确定分页导出预计要占用的内存与系统当前已使用内存之和占系统总内存的百分比是否小于第一预设百分比；在确定分页导出预计要占用的内存与系统当前已使用内存之和占系统总内存的百分比小于第一预设百分比的情况下，将预设导出条数确定为分页导出条数。

在一个实施例中，在确定分页导出预计要占用的内存与系统当前已使用内存之和占系统总内存的百分比是否小于第一预设百分比之后，还包括：在确定分页导出预计要占用的内存与系统当前已使用内存之和占系统总内存的百分比不小于第一预设百分比的情况下，根据第一预设百分比、预设导出条数、分页导出预计要占用的内存、系统当前已使用内存和系统总内存确定分页导出条数。

在一个实施例中，根据第一预设百分比、预设导出条数、分页导出预计要占用的内存、系统当前已使用内存和系统总内存确定分页导出条数，包括：按照以下公式确定分页导出条数：

其中，N₁为分页导出条数，N₀为预设导出条数，FM为第一预设百分比，M2为系统当前已使用内存，M1为分页导出预计要占用的内存，MA为系统总内存。