[发明专利]一种运算方法、装置、电子设备和可读存储介质

说明书

本发明涉及数据处理技术领域，具体涉及一种运算方法、装置、电子设备和可读存储介质。所述方法包括：获取源数据；将所述源数据依次加载在N个数据表中；其中N为大于1的正整数；在所述源数据加载过程中，对满足预设条件的第M个数据表执行目标聚集运算；其中M为小于等于N的正整数。本申请提供运算方案提高了对数据量较大的源数据的运算效率。

技术领域

本发明涉及数据处理技术领域，具体涉及一种运算方法、装置、电子设备和可读存储介质。

背景技术

在金融行业每交易日日终需要进行的入账、对账、统计报表数据进行批量处理后进行分析运算，但是目前的金融行业的业务批处理过程存在着处理数据量大、耗时长、自动化执行及周期性执行等特点。尤其是当系统需要对外部来源数据进行加载然后进行聚集运算处理时，这种批处理带来的问题就会更严重，因为目前的处理方式均是将外部来源数据加载到现有数据库中，等待数据加载完成后再对全部数据执行聚集运算，这样就导致需要等待所有数据都加载完成后才能对所有数据进行聚集运算，如果数据量较大的话，其加载和运行的时间都会比较长，业务批处理和分析运算的效率就很低。

发明内容

本申请的目的旨在至少能解决上述的技术缺陷之一。本申请所采用的技术方案如下：

第一方面，本申请实施例公开了一种运算方法，所述方法包括：

获取源数据；

将所述源数据依次加载在N个数据表中；其中N为大于1的正整数；

在所述源数据加载过程中，对满足预设条件的第M个数据表执行目标聚集运算；其中M为小于等于N的正整数。

可选地，所述满足预设条件的第M个数据表包括：

在所述第M个数据表中加载的数据量满足预设阈值；或，当M等于N时，所述源数据加载完毕。

可选地，在获取源数据的同时，所述方法还包括：

获取所述源数据的存储量；

根据所述源数据的存储量，在数据库中创建N个数据表。

可选地，在在所述第M个数据表中加载的数据量满足预设阈值或源数据加载完毕时，所述方法还包括：

将所述第M个数据表标记为加载完成的数据表。

可选地，所述目标聚集运算包括以下至少一种：

求和、计数、求最大值、求最小值、求平均值。

可选地，在对满足预设条件的第M个数据表执行目标聚集运算之后，所述方法还包括：

将第M个数据表执行目标聚集运算的结果存储于中间表中。

进一步地，所述方法还包括：

在将对第N个数据表执行目标聚集运算的结果存储于所述中间表后，对所述中间表执行统一的目标聚集运算。

第二方面，本申请实施例提供了一种运算装置，所述装置包括：接口模块、创建模块、加载模块、存储模块和运算模块，其中，

所述接口模块，用于获取源数据；

所述创建模块，用于在数据库中创建N个数据表；

所述加载模块，用于将所述源数据依次加载在N个数据表中；其中N为大于1的正整数；

所述存储模块，用于对所述第M个数据库进行判断的预设条件；

所述运算模块，用于在所述源数据加载过程中，对满足预设条件的第M个数据表执行目标聚集运算；其中M为小于等于N的正整数。

第三方面，本申请实施例提供了一种电子设备，包括处理器和存储器；