[发明专利]数据导出方法、设备、存储介质及装置

说明书

本发明涉及数据处理技术领域，公开了一种数据导出方法、设备、存储介质及装置，该方法包括：获取待导出数据的数据量和数据标识，根据数据量和数据标识确定待导出数据的导出次数，根据导出次数对待导出数据进行分组，获得待导出数据组，将待导出数据组导出；相较于现有的先获取所有数据来确定已导出数据，再根据已导出数据进行数据导出的方式，由于本发明中通过先对根据待导出数据的数据量和数据标识对待导出数据进行分组，获得待导出数据组，再将待导出数据组导出，从而避免了获取所有数据来确定已导出数据，提高了数据导出速度。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据导出方法、设备、存储介质及装置。

背景技术

目前，在进行数据导出时，通常采用skip函数和limit函分页导出数据。但是，在实际使用中，由于skip函数需要获取所有数据后，再过滤已导出数据，从而导致数据导出较慢。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种数据导出方法、设备、存储介质及装置，旨在解决现有技术中在进行数据导出时，需要获取所有数据后，再过滤已导出数据，从而导致数据导出较慢的技术问题。

为实现上述目的，本发明提供一种数据导出方法，所述数据导出方法包括以下步骤：

获取待导出数据的数据量和数据标识；

根据所述数据量和所述数据标识确定所述待导出数据的导出次数；

根据所述导出次数对所述待导出数据进行分组，获得待导出数据组；

将所述待导出数据组导出。

可选地，所述根据所述数据量和所述数据标识确定所述待导出数据的导出次数的步骤，包括：

获取数据导出脚本的单次导出数据量；

根据所述数据量和所述单次导出数据量确定单次导出数据数量；

基于所述数据标识确定所述待导出数据的数据总数量；

根据所述数据总数量和所述单次导出数据数量确定所述待导出数据的导出次数。

可选地，所述根据所述数据量和所述单次导出数据量确定单次导出数据数量的步骤，包括：

获取所述数据导出脚本的脚本信息；

根据所述脚本信息和所述单次导出数据量确定所述数据导出脚本的额定导出数据量；

根据所述数据量和所述额定导出数据量确定单次导出数据数量。

可选地，所述将所述待导出数据组导出的步骤之后，还包括：

根据所述单次导出数据数量确定所述数据导出脚本导出单个待导出数据组的导出时间；

获取所述数据导出脚本的部署数量；

根据所述导出次数、所述导出时间以及所述部署数量确定导出所述待导出数据组的导出总时间。

可选地，所述将所述待导出数据组导出的步骤，包括：

将所述待导出数据组存入消息队列；

通过数据导出脚本将所述消息队列中的各待导出数据组依次导出。

可选地，所述将所述待导出数据组导出的步骤之后，还包括：

在检测到所述待导出数据组导出失败后，获取所述待导出数据组的数据组信息；

根据所述数据组信息生成失败记录，并存储所述失败记录。