[发明专利]数据仓库中减少计算量的方法、装置、设备和存储介质

权利要求书

1.一种数据仓库中减少计算量的方法，其特征在于，所述方法包括：

根据监听到的触发事件启动当前轮离线计算任务；

根据源表中变化的业务数据与全部业务数据及计算方式确定规则确定每张源表在当前运行的所述当前轮离线计算任务中的计算方式，其中，所述变化的业务数据为从上一轮离线计算任务开始到当前轮离线计算任务开始期间内抽取到的变化数据，所述计算方式为全量计算或增量计算；

从确定为增量计算的源表中抽取变化的业务数据保存为对应的新表；

根据全量计算逻辑、目标表和任务配置信息生成用于离线计算的离线计算逻辑，其中，所目标表包括计算方式为全量计算的源表和生成的新表；

利用所述离线计算逻辑对所述目标表中的待计算数据进行计算，得到计算结果。

2.根据权利要求1所述的方法，其特征在于，所述根据源表中变化的业务数据与全部业务数据及计算方式确定规则确定每张源表在当前运行的所述当前轮离线计算任务中的计算方式，包括：

分别统计每张源表中变化的业务数据在至少一个统计维度的第一统计数据，及对应源表的全部业务数据在相同维度的第二统计数据，其中，所述源表为主表或关联表；

分别计算每个统计维度的第一统计数据与相同源表相同维度的第二统计数据的比值；

基于计算方式确定规则，根据所述比值与对应第一阈值的大小确定对应源表在当前轮离线计算任务中的计算方式。

3.根据权利要求2所述的方法，其特征在于，所述分别统计每张源表中变化的业务数据在至少一个统计维度的第一统计数据，及对应源表的全部业务数据在相同维度的第二统计数据，包括以下至少一种维度的统计：

分别统计每张源表中变化的业务数据的条数作为对应源表在第一维度的第一统计数据，统计对应源表所包含的全部业务数据的总条数作为对应源表在所述第一维度的第二统计数据；

分别统计每张源表中变化的业务数据所占字节数作为对应源表在第二维度的第一统计数据，统计对应源表所包含的全部业务数据所占的总字节数作为对应源表在所述第二维度的第二统计数据；

分别统计每张源表中变化的业务数据所包含的计算字段的个数作为对应源表在第三维度的第一统计数据，统计对应源表所包含的全部业务数据所包含的全部字段的总字段个数作为对应源表在所述第三维度的第二统计数据；

分别统计每张源表中参与计算字段所占字节数作为对应源表在第四维度的第一统计数据，统计对应源表所包含的全部字段所占字节数作为在所述第四维度的第二统计数据。

4.根据权利要求2或3所述的方法，其特征在于，所述基于计算方式确定规则，根据所述比值与对应第一阈值的大小确定对应源表在当前轮离线计算任务中的计算方式，包括：

若同一个源表对应的所有比值中有预设数量的比值小于对应的第一阈值，则判定对应的源表在所述当前轮离线计算任务中的计算方式为增量计算，其中，所述预设数量不超过统计维度的个数。

5.根据权利要求1所述的方法，其特征在于，所述利用所述离线计算逻辑对所述目标表中的待计算数据进行计算，得到计算结果，包括：

根据所述离线计算逻辑中所包含的分组类型及分组顺序，对目标表中的待计算数据进行分组，得到多个分组数据；

对每个所述分组数据进行计算，得到计算结果。

6.根据权利要求1所述的方法，其特征在于，所述利用所述离线计算逻辑对所述目标表中的待计算数据进行计算，得到计算结果，包括：

基于所述离线计算逻辑中所包含的分组类型及分组顺序，从第一优先级别的分组类型开始对对所述目标表中的待计算数据进行分组；

若通过当前分组类型分组后得到的多个分组数据中存在至少一个目标分组数据，其中，所述目标分组数据的数据量超过对应的第二阈值，则启用所述分组顺序中的下一个分组类型对所述目标分组数据进行继续分组；

若通过当前分组类型分组后得到的多个分组数据中不存在目标分组数据或所有分组类型都启用过，则停止分组；

对停止分组后得到的每个最终分组数据进行计算，得到计算结果。