[发明专利]数据的批量处理方法、装置、设备及存储介质

说明书

本发明公开了一种数据的批量处理方法、装置、设备及存储介质，该方法通过在接收到数据处理请求时，获取所述数据处理请求中待处理任务数据对应的目标业务逻辑，并根据预设业务逻辑估算量以及所述目标业务逻辑，计算所述待处理任务数据对应的总数据量；在所述总数据量达到分库数据量阈值时，根据每个数据库的数据处理量以及所述总数据量，将所述待处理任务数据分成对应个数的分库子任务数据；根据每个数据表的数据处理量以及分库数据量，将所述分库子任务数据分成对应个数的分库分表子任务数据；通过多台机器批量处理所述分库分表子任务数据。本发明将所述待处理任务数据进行批量处理，提高了数据处理效率。

技术领域

本发明涉及金融科技(Fintech)技术领域，尤其涉及数据的批量处理方法、装置、设备及计算机可读存储介质。

背景技术

随着计算机技术的发展，越来越多的技术(大数据、分布式、区块链Blockchain、人工智能等)应用在金融领域，传统金融业正在逐步向金融科技(Fintech)转变，但由于金融行业的安全性、实时性要求，也对技术提出了更高的要求。对于银行的业务系统主要使用IOE架构以及中心数据库的部署方式。对数据库的操作主要是单库单表单线程的串行数据处理方式，在执行批量资源时，无法充分利用系统的CPU资源。因此，现有银行业务系统处理批量数据的时间会随着数据量的增加而增长，处理效率低下。

发明内容

本发明的主要目的在于提出一种数据的批量处理方法、装置、设备及计算机可读存储介质，旨在解决现有银行业务系统的串行数据处理方式造成的数据处理效率低下的技术问题。

为实现上述目的，本发明提供一种数据的批量处理方法，所述数据的批量处理方法包括如下步骤：

在接收到数据处理请求时，获取所述数据处理请求中待处理任务数据对应的目标业务逻辑，并根据预设业务逻辑估算量以及所述目标业务逻辑，计算所述待处理任务数据对应的总数据量；

在所述总数据量达到分库数据量阈值时，根据每个数据库的数据处理量以及所述总数据量，将所述待处理任务数据分成对应个数的分库子任务数据；

根据每个数据表的数据处理量以及所述分库子任务数据的分库数据量，将所述分库子任务数据分成对应个数的分库分表子任务数据；

通过多台机器批量处理所述分库分表子任务数据，以对所述待处理任务数据进行批量处理。

可选地，所述通过多台机器批量处理所述分库分表子任务数据，以对所述待处理任务数据进行批量处理的步骤具体包括：

获取所述分库分表子任务数据中各任务数据对应的数据编号，根据预设取模规则以及所述数据编号，计算各任务数据对应的机器编号；

根据所述个任务数据对应的机器编号，将所述各任务数据对应分配至对应机器进行分段批量处理，以通过多台机器批量处理所述分库分表子任务数据。

可选地，所述在接收到数据处理请求时，获取所述数据处理请求中待处理任务数据对应的目标业务逻辑，并根据预设业务逻辑估算量以及所述目标业务逻辑，计算所述待处理任务数据对应的总数据量的步骤之前，还包括：

获取所述待处理任务数据对应的任务处理时间，并判断所述当前时间是否属于所述任务处理时间；

若所述当前时间属于所述任务处理时间，则根据所述待处理任务数据对应的任务标识，生成对应的数据处理请求。

可选地，所述通过多台机器批量处理所述分库分表子任务数据，以对所述待处理任务数据进行批量处理的步骤之后，还包括：

获取各个分库分表子任务数据在预设时间内对应的各个任务执行结果，并根据所述各个任务执行结果，判断所述各个分库分表子任务数据是否全部执行成功；