[发明专利]一种数据处理方法和装置

说明书

本发明公开了一种数据处理方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：根据获取到的并发配置信息获取多个应用的任务锁信息；按照与所述多个应用中各应用的任务锁信息对应的数据分片规则，获取所述各应用对应的分片数据；利用所述各应用对应的分片数据，按照所述各应用的业务逻辑进行数据处理。该实施方式能够在多应用并发执行时实现任务锁的正常获取记录，解决应用资源争抢的问题，保证资源的分配平均和资源高效利用，在数据量递增和突增的情况下，可以动态添加应用以及动态调整多应用启动的参数开启并发处理，有效提升处理效率。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据处理方法和装置。

背景技术

现有的数据同步过程中采用的定时任务调度。在发起任务执行命令时，假设有三台应用主机同时得到数据同步任务执行的命令，并通过获取应用执行锁来决定当前最快获取锁的应用来执行资产信息同步任务，其他应用结束本次任务执行。

当前任务执行步骤如下：

1、资产信息同步定时任务在规定时间触发执行；

2、根据应用部署，假设有三台应用同时相应这个执行的任务；

3、三台应用同时启动获取执行任务锁；

4、获取到执行任务锁的应用进行任务的执行，其他两台应用任务结束。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

对于多应用响应任务，存在任务锁的应用资源争抢问题；

最终只有一台应用执行真正任务，导致其余应用的资源浪费；

每天任务处理数据量递增的情况，单一应用处理存在效率瓶颈。

发明内容

有鉴于此，本发明实施例提供一种数据处理方法和装置，能够在多应用并发执行时实现任务锁的正常获取记录，解决应用资源争抢的问题，保证资源的分配平均和资源高效利用，在数据量递增和突增的情况下，可以动态添加应用以及动态调整多应用启动的参数开启并发处理，有效提升处理效率。

为实现上述目的，根据本发明实施例的一个方面，提供了一种数据处理方法。

一种数据处理方法，包括：根据获取到的并发配置信息获取多个应用的任务锁信息；按照与所述多个应用中各应用的任务锁信息对应的数据分片规则，获取所述各应用对应的分片数据；利用所述各应用对应的分片数据，按照所述各应用的业务逻辑进行数据处理。

可选地，从数据库参数配置或所述各应用的JVM(Java虚拟机)参数配置中获取所述并发配置信息。

可选地，按照与所述多个应用中各应用的任务锁信息对应的数据分片规则，获取所述各应用对应的分片数据的步骤，包括：对每条数据按照主键ID(标识)进行如下的取模操作：该条数据对应的任务锁标识＝MOD(主键ID，任务并发度)；获取与所述各应用的任务锁标识对应的数据，以得到所述各应用对应的分片数据；其中，所述各应用的任务锁标识根据所述各应用的任务锁信息得到，所述任务并发度根据所述并发配置信息得到。

可选地，按照与所述多个应用中各应用的任务锁信息对应的数据分片规则，获取所述各应用对应的分片数据的步骤，包括：获取与所述各应用的任务锁信息对应的分片参数配置；根据所述分片参数配置和数据的主键ID进行数据切分，以确定每一分片数据的数据范围，所述每一数据范围对应一任务锁标识；根据与各应用的任务锁标识对应的数据范围，获取与所述各应用对应的分片数据，所述各应用的任务锁标识根据所述各应用的任务锁信息得到。

根据本发明实施例的另一方面，提供了一种数据处理装置。