[发明专利]分布式数据库的数据汇总方法及装置和电子设备

说明书

本说明书实施例提供一种分布式数据库的数据汇总方法及装置和电子设备，所述方法包括：在满足预设条件后，生成数据汇总指令；获取所述分布式数据库的分库分表模式具有的数据表数量N；将所述N个数据表划分为M个子任务；其中，所述M小于等于N，每个子任务对应至少一个数据表；并行对每个子任务对应的数据表中数据进行数据汇总；合并每个子任务的汇总结果，得到总的汇总结果。

技术领域

本说明书实施例涉及互联网技术领域，尤其涉及一种分布式数据库的数据汇总方法及装置和电子设备。

背景技术

数据汇总是指对数据库中存储的业务明细数据，按照指定的一个或者多个维度进行聚合汇总统计的过程。

在相关技术中，数据汇总通常在某个预设时间点时一次性对预设时长内的数据进行汇总。以金融行业为例，通常需要会在日终时对当天产生的金融数据一次性进行数据汇总。然而，随着数据量的逐渐增多，数据汇总执行耗时越来越长；并且当数据汇总执行失败时，必须重新进行数据汇总。

因此，需要提供一种更有效率的数据汇总方案。

发明内容

本说明书实施例提供的一种分布式数据库的数据汇总方法及装置和电子设备：

根据本说明书实施例的第一方面，提供一种分布式数据库的数据汇总方法，所述方法包括：

在满足预设条件后，生成数据汇总指令；

获取所述分布式数据库的分库分表模式具有的数据表数量N；

将所述N个数据表划分为M个子任务；其中，所述M小于等于N，每个子任务对应至少一个数据表；

并行对每个子任务对应的数据表中数据进行数据汇总；

合并每个子任务的汇总结果，得到总的汇总结果。

根据本说明书实施例的第二方面，提供一种分布式数据库的数据汇总装置，所述装置包括：

生成单元，在满足预设条件后，生成数据汇总指令；

获取单元，获取所述分布式数据库的分库分表模式具有的数据表数量N；

拆分单元，将所述N个数据表划分为M个子任务；其中，所述M小于等于N，每个子任务对应至少一个数据表；

并行汇总单元，并行对每个子任务对应的数据表中数据进行数据汇总；

合并汇总单元，合并每个子任务的汇总结果，得到总的汇总结果。

根据本说明书实施例的第三方面，提供一种电子设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为上述任一项分布式数据库的数据汇总方法。

本说明书实施例，提供了一种分布式数据库的数据汇总方案，基于分布式数据库中分库分表模型的数据隔离性，将多个数据表的遍历汇总封装成多个子任务，然后并行对每个子任务对应的数据表进行单独的数据汇总。通过并行数据汇总，大大降低了数据汇总需要的时间。

附图说明

图1是本说明书提供的分布式数据库的分库分表模式的示意图；

图2是本说明书一实施例提供的分布式数据库的数据汇总方法的流程图；

图3是本说明书一实施例提供的多线程并行汇总处理的示意图；

图4是本说明书一实施例提供的分布式数据库的数据汇总装置的硬件结构图；

图5是本说明书一实施例提供的分布式数据库的数据汇总装置的模块示意图。