[发明专利]数据仓库中数据的处理方法及装置

说明书

本申请公开一种数据仓库中数据的处理方法及装置，包括：根据字段新增请求中第一业务的新增字段的信息，在对应分区表中增加新增字段的名称和类型；获取分区表下第一分区内第一业务的原有字段对应的第一业务代码，根据第一业务代码和分区表中记录字段信息生成第二业务代码并写入第一分区，第二业务代码中包括第一业务原有字段和用于表征新增字段的空字符串；接收用户上传的新增字段对应的第三业务代码，根据第三业务代码和分区表中记录的字段信息生成第四业务代码，在分区表下创建第二分区并写入第四业务代码，第四业务代码中包括第一业务的新增字段和用于表征原有字段的空字符串；汇总第二业务代码和第四业务代码得到第一业务的完整业务代码。

技术领域

本申请属于大数据处理技术领域，具体涉及一种数据仓库中数据的处理方法及装置。

背景技术

数据仓库是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建的，能够为企业提供指导业务流程改进、监视时间、成本、质量以及控制等服务。按照数据流入、流出的过程，数据仓库架构大致可分为三层：ODS(Operation Data Store，操作型数据存储)层、DW(DataWarehouse，数据仓库)层和DA(Data Application，数据应用)层。

目前，在大数据数仓离线加工技术中，对DW层的设计定位于明细汇总，当有新增的业务时，现有技术中，都是不断在一份代码中不断追加业务逻辑，追加到DW层的原有业务代码中。

然而，随着业务增量越来越大，字段数越来越多，实际加工代码也逐步向数千至数万行累积，并不断新增，且需要做的字段兼容也越来越多，同时在追加字段时还要考虑数据插入顺序问题，口径也越来越难以追溯，导致数据仓库的维护成本较高。

发明内容

本申请实施例的目的是提供一种数据仓库中数据的处理方法及装置，能够解决现有技术中存在的数据仓库的维护成本较高的问题。

第一方面，本申请实施例提供了一种数据仓库中数据的处理方法，所述方法包括：

在接收到针对数据仓库中第一业务的业务字段新增请求的情况下，根据所述字段新增请求中携带的新增字段的信息，在所述数据仓库的分区表中增加所述新增字段的名称和类型；

获取所述分区表下第一分区内的第一业务代码，根据所述第一业务代码和所述分区表中记录的所述第一业务的字段信息，生成第二业务代码，并将所述第二业务代码写入所述第一分区，其中，所述第一业务代码为所述第一业务的原有字段对应的业务代码，所述第二业务代码中包括所述第一业务的原有字段和用于表征新增字段的空字符串；

接收用户上传的所述第一业务的新增字段对应的第三业务代码，根据所述第三业务代码和所述分区表中记录的第一业务的字段信息，生成第四业务代码，并在所述分区表下创建第二分区，将所述第四业务代码写入所述第二分区，其中，所述第四业务代码中包括所述第一业务的新增字段和用于表征原有字段的空字符串；

汇总所述第一分区内的第二业务代码和所述第二分区内的第四业务代码，得到所述第一业务在新增字段后的完整业务代码。

第二方面，本申请实施例提供了一种数据仓库中数据的处理装置，所述装置包括：

修改模块，用于在接收到针对数据仓库中第一业务的业务字段新增请求的情况下，根据所述字段新增请求中携带的新增字段的信息，在所述数据仓库的分区表中增加所述新增字段的名称和类型；

第一处理模块，用于获取所述分区表下第一分区内的第一业务代码，根据所述第一业务代码和所述分区表中记录的所述第一业务的字段信息，生成第二业务代码，并将所述第二业务代码写入所述第一分区，其中，所述第一业务代码为所述第一业务的原有字段对应的业务代码，所述第二业务代码中包括所述第一业务的原有字段和用于表征新增字段的空字符串；