[发明专利]数据处理方法、装置、计算机设备和存储介质

说明书

本申请涉及人工智能领域，通过对待处理数据表进行时间分割，将时间分割范围内的待处理数据依次存储到目标数据库中，提高了系统的数据查询性能和数据存储效率。尤其涉及一种数据处理方法、装置、计算机设备和存储介质，该数据处理方法包括：获取待处理数据，根据预设的分配策略将待处理数据分配到待处理数据表中；根据待处理数据对应的获取时间以及根据待处理数据表对应的数据量，确定待处理数据表对应的时间分割信息；根据待处理数据表对应的时间分割信息，确定待处理数据表对应的多个待执行任务，并执行多个待执行任务，以将待处理数据表中的待处理数据存储到目标数据库中。此外，本申请还涉及区块链技术，待处理数据表可存储于区块链中。

技术领域

本申请涉及人工智能领域，尤其涉及一种数据处理方法、装置、计算机设备和存储介质。

背景技术

现有的业务数据系统在同步海量的业务数据时，常常需要从大数据平台中将业务数据同步到postgresql库中，再从postgresql库中将业务数据合并到目标数据库中。

在处理业务数据过程中，由于数据量过大，业务数据系统无法一次处理所有的业务数据，需要分批处理。现有的业务数据系统处理业务数据时，存在以下问题：在分批处理业务数据时，为了提高性能会把已经处理的业务数据进行删除，但是频繁的删除操作导致postgresql库中的vacuum进程无法回收表空间，不断地降低业务数据系统的性能，影响业务数据系统处理数据的效率。

因此如何提高业务数据系统处理数据的性能和效率成为亟需解决的问题。

发明内容

本申请提供了一种数据处理方法、装置、计算机设备和存储介质，通过对待处理数据表中的待处理数据进行时间分割，将时间分割范围内的待处理数据依次存储到目标数据库中，提高了系统的数据查询性能和数据存储效率。

第一方面，本申请提供了一种数据处理方法，所述方法包括：

获取待处理数据，根据预设的分配策略将所述待处理数据分配到待处理数据表中；

根据所述待处理数据表中的待处理数据对应的获取时间以及根据所述待处理数据表对应的数据量，确定所述待处理数据表对应的时间分割信息；

根据所述待处理数据表对应的时间分割信息，确定所述待处理数据表对应的多个待执行任务，并执行多个所述待执行任务，以将所述待处理数据表中的待处理数据存储到目标数据库中。

第二方面，本申请还提供了一种数据处理装置，所述装置包括：

数据获取模块，用于获取待处理数据，根据预设的分配策略将所述待处理数据分配到待处理数据表中；

时间分割模块，用于根据所述待处理数据表中的待处理数据对应的获取时间以及根据所述待处理数据表对应的数据量，确定所述待处理数据表对应的时间分割信息；

数据存储模块，用于根据所述待处理数据表对应的时间分割信息，确定所述待处理数据表对应的多个待执行任务，并执行多个所述待执行任务，以将所述待处理数据表中的待处理数据存储到目标数据库中。

第三方面，本申请还提供了一种计算机设备，所述计算机设备包括存储器和处理器；

所述存储器，用于存储计算机程序；

所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如上述的数据处理方法。

第四方面，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如上述的数据处理方法。