[发明专利]一种百万级数据的导出方法

说明书

本发明公开的的百万级数据的导出方法，涉及数据处理技术领域，通过动态配置导出请求，可自动生成大批量的excel格式数据供用户选择并下载，将导出服务器、应用服务器和文件服务器分离，支持并发导出数据，降低了人工及时间成本，提高了通用性及用户体验。

技术领域

本发明属于数据处理技术领域，具体涉及一种百万级数据的导出方法。

背景技术

共享汽车行业中主要有两类用车人群。一是用户，二是运维人员。用户就是使用GoFun App下单使用车辆的人群。运维人员就相当于后勤人员，对车辆，进行维护、加油、充电、清洁、调度及维修等操作。

需要运维维护的车辆都会有对应的工单，每一种工单，会对应不同的工分。每个月都会根据工分，工单给运维人员结算薪资。这个过程需要导出近一个月或者两个月的工单明细进行核对及结算。

现有共享车辆近三万辆，每辆车产生的工单有十几种，每天都会产生十多万个工单和十多万个运维记录。

现有技术主要采用从应用服务器中获取数据，然后将该数据发送至用户终端的同步数据导出方法，该方法主要存在以下缺陷：

(1)单次导出支持导出的数据量小，不便于财务及管理人员的核对、结算，导致人工及时间成本较高；

(2)导出服务器和应用服务器未分离，导致占用系统资源的时间较长，降低了服务器的性能；

(3)直接从应用服务器读取大量数据，占用数据库的时间较长，增加了宽带占用率，如果导出数据量特别大，界面等待时间较长，导致用户体验较差且不具备通用性。

本发明实施例提供的百万级数据的导出方法具有以下有益效果：

通过动态配置导出请求，可自动生成大批量的excel格式数据供用户选择并下载，将导出服务器、应用服务器和文件服务器分离，支持并发导出数据，降低了人工及时间成本，提高了通用性及用户体验。

发明内容

针对现有技术存在的缺陷，本发明实施例提供了一种百万级数据的导出方法，该方法包括以下步骤：

用户通过预设的配置界面，在导出服务器中输入请求配置与响应配置，其中，所述请求配置包括基础配置及请求参数，所述响应配置包括对数据的格式及展示形式的配置；

所述导出服务器根据所述请求配置，向对应的应用服务器发送数据获取请求，其中，所述数据获取请求包括所述基础配置；

所述应用服务器根据所述基础配置生成导出记录并获取相应的数据，将所述数据发送至所述导出服务器；

所述导出服务器根据所述响应配置，生成相应的excel格式数据并将所述excel格式数据发送至文件服务器；

所述文件服务器接收所述excel格式数据，获取当前时间并随机生成一个数；

所述文件服务器根据当前时间及随机生成的数，生成所述excel格式数据对应的URL地址并将所述URL地址返回至所述导出服务器；

所述导出服务器接收所述URL地址并将所述URL地址写入所述导出记录；

用户根据所述导出记录，从所述文件服务器处下载需要的数据。

优选地，所述基础配置包括：

数据的配置名称、分页请求地址、每页条数、休眠时间、最大条数及单个sheet表的条数。

优选地，所述请求参数包括：

城市编码及请求开始时间。

优选地，所述导出服务器根据所述响应配置，生成相应的excel格式数据包括：