[发明专利]一种数据导出方法、装置、计算机设备及存储介质

说明书

本发明实施例涉及大数据领域，公开了一种数据导出方法、装置、计算机设备及存储介质，该方法包括：获取数据导出请求，数据导出请求携带筛选条件；根据筛选条件创建主线程任务，通过主线程任务扫描指定数据库中的数据，得到扫描结果数据，并将扫描结果数据传输至预设队列中；当检测到预设队列中存在扫描结果数据时，创建子线程任务，并通过子线程任务从预设队列中获取所述扫描结果数据，写入目标文件；当检测到扫描结束时，通过子线程任务将目标文件传输至云端的第一存储装置，并生成目标文件的下载链接，将下载链接写入本地的第二存储装置，从而提高了数据导出的效率。本发明涉及区块链技术，如可将数据写入区块链中，以用于数据取证等场景。

技术领域

本发明涉及大数据领域，尤其涉及一种数据导出方法、装置、计算机设备及存储介质。

背景技术

随着大数据的日益发展，在业务系统中经常会有导出数据的场景，目前通常采用数据导出工具进行数据导出，但是通过数据导出工具实现数据导出容易存在以下缺陷：无法实现边读边写，数据导出速度较慢，在数据量较高时导出数据占用内存高，甚至可能发生内存溢出。因此，亟待一种数据导出的方案以解决上述数据导出存在的缺陷。

发明内容

本发明实施例提供了一种数据导出方法、装置、计算机设备及存储介质，可以在导出数据时通过分片处理数据实现边读边写，减少内存资源消耗，将读与统计分离，数据处理速度更快，从而提高了数据导出的效率。

第一方面，本发明实施例提供了一种数据导出方法，包括：

获取数据导出请求，所述数据导出请求携带筛选条件，所述筛选条件包括导出开始时间、导出结束时间和分片段时间间隔；

根据所述筛选条件创建主线程任务，通过所述主线程任务扫描指定数据库中的数据，得到扫描结果数据，并将所述扫描结果数据传输至预设队列中；

当检测到所述预设队列中存在扫描结果数据时，创建子线程任务，并通过所述子线程任务从所述预设队列中获取所述扫描结果数据，以及将所述扫描结果数据写入目标文件；

当检测到扫描结束时，通过所述子线程任务将所述目标文件传输至云端的第一存储装置，并通过所述子线程任务生成所述目标文件的下载链接，以及将所述下载链接写入本地的第二存储装置中以供用户下载。

进一步地，所述根据所述筛选条件创建主线程任务，通过所述主线程任务扫描指定数据库中的数据，得到扫描结果数据，包括：

根据所述筛选条件中携带的分片段时间间隔将所述导出开始时间与所述导出结束时间之间的时间进行等分分片；

按照所述导出开始时间与所述导出结束时间之间等分分片后的各个时间段创建主线程任务；

通过所述主线程任务在所述各个时间段扫描所述指定数据库中的数据，得到所述扫描结果数据。

进一步地，所述通过所述主线程任务在所述各个时间段扫描所述指定数据库中的数据，得到所述扫描结果数据，包括：

当在等分分片后的第一个时间段内在所述指定数据库中没有扫描到数据时，将所述等分分片后的第二个时间段和第三个时间段进行合并处理；

在所述第二个时间段和所述第三个时间段合并处理后的时间段内扫描所述指定数据库的数据；

当在所述合并处理后的时间段内扫描到数据时，将所述第二个时间段和所述第三个时间段后的各相邻时间段两两合并处理，并按照合并处理后的各个时间段扫描所述指定数据库的数据，得到所述扫描数据。

进一步地，所述方法还包括：

当在所述合并处理后的时间段内未扫描到数据时，将所述等分分片后的第三个时间段后的4个相邻时间段进行合并处理；

在所述第三个时间段后的4个相邻时间段合并处理后的时间段内扫描所述指定数据库的数据；