[发明专利]数据导出方法、装置、存储介质及电子设备

说明书

本公开涉及一种数据导出方法、数据导出装置、计算机可读存储介质及电子设备，本公开实施例中的数据导出方法包括：接收数据导出请求，并根据所述数据导出请求在任务队列中创建数据导出任务；调整所述任务队列中待处理的各个所述数据导出任务的处理顺序；按照所述处理顺序并行处理所述任务队列中的部分或者全部的所述数据导出任务；通过处理所述数据导出任务得到导出数据，并将所述导出数据返回给所述数据导出请求的发送方。本公开实施例提供的数据导出方法可以调整任务处理顺序，避免任务量过多的情况下对数据库及服务器造成过大的压力，提高服务器资源的利用率和任务处理效率。

技术领域

本公开涉及计算机技术领域，具体涉及一种数据导出方法、数据导出装置、计算机可读存储介质及电子设备。

背景技术

现有的数据分析平台在处理数据导出任务时，一般是直接从数据源获取数据，在服务器内存中生成数据文档后向用户返回文件数据。当数据量较小并且使用人数较少时，服务器内存压力并不明显。但是，随着数据库数据量以及不确定时间的随机导出数据任务量不断地增加，服务器内存使用量不规律暴增。在服务器内存压力过大的情况下，甚至会引起内存溢出，从而导致所有的数据导出任务失败。由此可见，如何平衡大数据量的数据导出请求和服务器内存压力是目前亟待解决的问题。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种数据导出方法、数据导出装置、计算机可读存储介质及电子设备，进而至少在一定程度上克服数据导出任务量大、服务器内存压力大、用户体验差等技术问题。

根据本公开的一个方面，提供一种数据导出方法，其特殊之处在于，包括：

接收数据导出请求，并根据所述数据导出请求在任务队列中创建数据导出任务；

调整所述任务队列中待处理的各个所述数据导出任务的处理顺序；

按照所述处理顺序并行处理所述任务队列中的部分或者全部的所述数据导出任务；

通过处理所述数据导出任务得到导出数据，并将所述导出数据返回给所述数据导出请求的发送方。

在本公开的一种示例性实施方式中，根据所述数据导出请求在任务队列中创建数据导出任务，包括：

根据所述数据导出请求确定数据导出模式；

在与所述数据导出模式相匹配的任务队列中创建数据导出任务。

在本公开的一种示例性实施方式中，调整所述任务队列中待处理的各个数据导出任务的处理顺序，包括：

获取所述任务队列中待处理的各个数据导出任务的顺序调整参数；

根据所述顺序调整参数调整各个所述数据导出任务的处理顺序。

在本公开的一种示例性实施方式中，所述顺序调整参数包括任务创建时间、任务优先级和/或用户优先级。

在本公开的一种示例性实施方式中，按照所述处理顺序并行处理所述任务队列中的部分或者全部的数据导出任务，包括：

获取当前并行处理的数据导出任务的任务数量；

当所述任务数量小于一预设数量时，按照所述处理顺序从所述任务队列中依次调取并处理所述数据导出任务，直至所述任务数量等于所述预设数量。

在本公开的一种示例性实施方式中，通过处理所述数据导出任务得到导出数据，包括：

根据所述数据导出任务从数据库中获取待导出数据的数据信息；