[发明专利]一种数据导出方法和装置

说明书

本发明公开了一种数据导出方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：接收数据导出请求，从数据库中获取与所述数据导出请求相对应的数据；传输所述数据至云端服务器中，接收所述云端服务器所反馈的资源定位信息；根据所述数据导出请求和所述资源定位信息，创建下载任务，添加所述下载任务至下载任务列表中进行任务更新。该实施方式将数据传输至云端存储，以降低导出数据对系统内存资源的占用，以及将数据导出压力转移至云端中，以此提高数据下载速度。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据导出方法和装置。

背景技术

现有大多数应用都支持数据导出功能，在导出报表数据的需求较大时，用户可能会按照周、月、季度等条件进行数据导出。目前通常直接查询数据库进行导出数据：用户在前端选择查询条件，后台根据该条件从数据库中查询数据，之后将所查询到的数据写入文件(例如生成Excel)，并通过应用系统的下载接口下载到用户本地。

在实现本发明的过程中，发明人发现现有方式至少存在如下问题：

1)对于业务量较大的系统，其日数据量通常过万，若一次性下载数据较多可能会长时间占用I/O操作(例如一条数据0.2k，一千万条数据则为2G左右)，导致应用系统内存不足，引起系统崩溃；

2)从用户角度分析，在点击数据导出操作后可能应用系统长时间没有反应或等待时间较长，影响用户体验。

发明内容

有鉴于此，本发明实施例提供一种数据导出方法和装置，至少能够解决现有技术当所导出的数据量过大时，应用系统内存以及I/O等资源占用过大，导致数据导出效率较低，影响用户体验问题。

为实现上述目的，根据本发明实施例的一个方面，提供了一种数据导出方法，包括：接收数据导出请求，从数据库中获取与所述数据导出请求相对应的数据；传输所述数据至云端服务器中，接收所述云端服务器所反馈的资源定位信息；其中，所述资源定位信息为所述云端服务器根据所述数据在所述云端服务器中的存储位置所生成；根据所述数据导出请求和所述资源定位信息，创建下载任务，添加所述下载任务至下载任务列表中进行任务更新。

可选的，所述从数据库中获取与所述数据导出请求相对应的数据，包括：确定与所述数据导出请求相对应的数据标识；根据预定分组的数量，对所述数据标识进行分组处理，得到与所述数量相对应的多个数据标识组；利用各数据查询线程，从所述数据库中查询与各数据标识组中各数据标识相对应的数据，对查询到的数据进行组合，得到多个数据组。

可选的，所述根据预定分组的数量，对所述数据标识进行分组处理，还包括：若所述数量大于或等于数据查询线程的可用量，则将所述数量替换为所述可用量。

可选的，在所述传输所获取的数据至云端服务器中进行存储，还包括：将所述数据传输至缓存数据库中，在监测到所有数据传输完毕或传输的数据量达到预定数量阈值时，从所述缓存数据库中提取所传输的数据并上传至所述云端服务器中。

为实现上述目的，根据本发明实施例的另一方面，提供了一种数据导出装置，包括：

数据获取模块，用于接收数据导出请求，从数据库中获取与所述数据导出请求相对应的数据；

数据转存模块，用于传输所述数据至云端服务器中，后接收所述云端服务器所反馈的资源定位信息；其中，所述资源定位信息为所述云端服务器根据所述数据在所述云端服务器中的存储位置所生成；

任务创建模块，用于根据所述数据导出请求和所述资源定位信息，创建下载任务，添加所述下载任务至下载任务列表中进行任务更新。

可选的，所述数据获取模块，用于：

确定与所述数据导出请求相对应的数据标识；

根据预定分组的数量，对所述数据标识进行分组处理，得到与所述数量相对应的多个数据标识组；