[发明专利]大数据平台数据仓库数据处理方法、装置和计算机设备

说明书

本申请揭示了一种大数据平台数据仓库数据处理方法、装置和计算机设备，其中数据仓库的数据仓库层包括数据预处理层和数据汇总层，所述数据汇总层依赖于所述数据预处理层；所述处理方法，包括：获取源数据层的源数据表，并通过所述数据预处理层对所述源数据表进行预处理，得到公共数据表；通过所述数据汇总层将所述公共数据表与其它无需预处理的数据表进行汇总。本申请将数据仓库的数据仓库层拆分成数据预处理层和数据汇总层，通过将数据清洗放在数据预处理层，得到公共数据表，无需对同一张源数据表进行重复的加工处理，避免了数据的重复处理，减少占用系统资源，同样的数据处理量，本申请的方法延时情况远低于现有技术的延时情况。

技术领域

本申请涉及到大数据处理领域，特别是涉及到一种大数据平台数据仓库数据处理方法、装置和计算机设备。

背景技术

传统的大数据平台数据仓库一般分为源数据层(ODS)、数据仓库层(DW)、数据集市层(DM)、数据应用层(APP)；其中数据仓库层是对源数据层数据的清洗(去重、脏数据处理等)、相同粒度字段进行汇总，以便提供给上层数据集市层进行更好的使用。在实际项目中，数据仓库层的数据处理负荷是最重的，一方面需要对脏数据和重复数据等进行清洗，另一方面需要关联多个相同粒度的表汇总为一张宽表；在每天的系统跑批中，经常会出现数据仓库层占用系统资源太长，导致整个数据仓库任务调度严重延时，无法在规定的时间内完成数据处理，影响使用。因为数据处理的方法与数据的汇总处于同一个数据仓库层，当需要修改某一个数据表的预处理方法的时候需要顾忌是否会对如汇总方法、其他数据表的预处理方法产生影响，修改不够灵活

发明内容

本申请的主要目的为提供一种大数据平台数据仓库数据处理方法、装置和计算机设备，旨在解决现有技术中数据仓库层跑批处理数据延时严重的问题。

为了实现上述发明目的，本申请提出一种大数据平台数据仓库数据处理方法，其特征在于，所述数据仓库的数据仓库层包括数据预处理层和数据汇总层，所述数据汇总层依赖于所述数据预处理层；所述处理方法，包括：

获取源数据层的源数据表，并通过所述数据预处理层对所述源数据表进行预处理，得到公共数据表；

通过所述数据汇总层将所述公共数据表与其它无需预处理的数据表进行汇总。

进一步地，所述获取源数据层的源数据表，并通过所述数据预处理层对所述源数据表进行预处理，得到公共数据表的步骤，包括：

判断待预处理的所述源数据表的数量；

若所述源数据表的数量大于等于两个，则判断各所述源数据表之前的依赖关系；

将存在依赖关系的各源数据表的第一顺位表，以及与其它源数据表没有依赖关系的离散源数据表并发进行预处理，将有依赖关系的源数据表根据依赖顺序进行预处理。

进一步地，所述判断待预处理的所述源数据表的数量的步骤之前，包括：

判断所述大数据平台的运行资源使用率；

根据所述运行资源使用率确定对所述源数据表的并发线程数量。

进一步地，所述通过所述数据汇总层将所述公共数据表与其它无需预处理的数据表进行汇总的步骤，包括：

通过所述数据汇总层直接使用所述公共数据表，与其它无需预处理的数据表进行汇总。

进一步地，所述获取源数据层的源数据表，并通过所述数据预处理层对所述源数据表进行预处理，得到公共数据表的步骤之前，包括：

判断当前时间是否为预设的批处理时间段：

若是，则生成对所述大数据平台数据仓库数据处理的命令。

进一步地，，所述判断当前时间是否为预设的批处理时间段的步骤之前，包括：