[发明专利]数据仓库中减少计算量的方法、装置、设备和存储介质

说明书

本申请提出一种数据仓库中减少计算量的方法、装置、设备和存储介质，该方法包括：根据监听到的触发事件启动当前轮离线计算任务；根据源表中变化的业务数据与全部业务数据及计算方式确定规则确定每张源表在当前运行的当前轮离线计算任务中的计算方式；从确定为增量计算的源表中抽取变化的业务数据保存为对应的新表；根据全量计算逻辑、目标表和任务配置信息生成用于离线计算的离线计算逻辑，其中，所目标表包括计算方式为全量计算的源表和生成的新表；利用离线计算逻辑对目标表中的待计算数据进行计算，得到计算结果。本申请减少了数据仓库中数据计算量，减少计算资源的浪费，加快了计算速度，节省了存储资源。

技术领域

本申请涉及数据仓库技术领域，尤其涉及一种数据仓库中减少计算量的方法、装置、设备和存储介质。

背景技术

离线计算是大数据计算技术之一，一般是基于分布式文件系统做批量并行计算。在计算开始之前，待计算数据就已经确定，计算过程中待计算数据不会改变。通常情况下，离线计算的数据量都比较大，所以计算会消耗额外的存储空间，计算所需耗时也比较长，即是一种消耗空间和时间的计算方式。但离线计算可以做复杂的计算且十分稳定，且对时效性要求不高，故在数据量大且计算复杂度高的数据仓库等领域广泛应用。

现有技术中，离线计算是通过每天拉取出所有历史数据进行全量计算，而全量计算95％以上都属于重复计算。而且在贴源层拉取全量数据会较慢，消耗时间较长。另一种离线计算方式是增量抽取，但是在计算的时候也会将增量数据和存量数据合并为全量数据后进行全量计算，也会消耗较长的时间。事实上每次离线计算所使用的全量数据中变化的增量数据占全量的很少一部分，对于没有变化的数据进行计算会放大不必要的计算量，浪费较多的计算资源和存储资源，而且离线计算一般集中在一定的时间段，为了满足计算需求，就不得不在该时间段内堆砌计算资源；而在其他空闲时间又有大量资源闲置，从而导致了计算源的膨胀。

发明内容

为了解决现有技术中离线计算耗时且占用计算资源和存储资源以及造成资源利用率低下的技术问题。本申请提供了一种数据仓库中减少计算量的方法、装置、设备和存储介质，其主要目的在于减少数据仓库中数据计算量，减少计算资源的浪费，使得计算资源得到充分利用，且节省存储资源。

为实现上述目的，本申请提供了一种一种数据仓库中减少计算量的方法，该方法包括：

根据监听到的触发事件启动当前轮离线计算任务；

根据源表中变化的业务数据与全部业务数据及计算方式确定规则确定每张源表在当前运行的当前轮离线计算任务中的计算方式，其中，变化的业务数据为从上一轮离线计算任务开始到当前轮离线计算任务开始期间内抽取到的变化数据，计算方式为全量计算或增量计算；

从确定为增量计算的源表中抽取变化的业务数据保存为对应的新表；

根据全量计算逻辑、目标表和任务配置信息生成用于离线计算的离线计算逻辑，其中，所目标表包括计算方式为全量计算的源表和生成的新表；

利用离线计算逻辑对目标表中的待计算数据进行计算，得到计算结果。

此外，为实现上述目的，本申请还提供了一种数据仓库中减少计算量的装置，该装置包括：

任务启动模块，用于根据监听到的触发事件启动当前轮离线计算任务；

计算方式确定模块，用于根据源表中变化的业务数据与全部业务数据及计算方式确定规则确定每张源表在当前运行的当前轮离线计算任务中的计算方式，其中，变化的业务数据为从上一轮离线计算任务开始到当前轮离线计算任务开始期间内抽取到的变化数据，计算方式为全量计算或增量计算；

第一数据抽取模块，用于从确定为增量计算的源表中抽取变化的业务数据保存为对应的新表；