[发明专利]维度清洗方法、装置、计算机设备及存储介质

说明书

本申请实施例属于大数据领域，涉及一种维度清洗方法，包括获取待清洗字段；读取所述待清洗字段的字段属性；根据所述字段属性确定所述待清洗字段所在的维度等高树以及对应的清洗策略，其中，所述清洗策略包括至少一个层级的归约策略，所述归约策略包括正则匹配归约、等值映射归约和DSL判断归约；通过所述维度等高树和所述清洗策略对所述待清洗字段进行维度清洗，得到维度清洗结果。本申请还提供一种维度清洗装置、计算机设备及存储介质。此外，本申请还涉及区块链技术，维度清洗结果可存储于区块链中。本申请提高了维度清洗的准确性。

技术领域

本申请涉及大数据技术领域，尤其涉及一种维度清洗方法、装置、计算机设备及存储介质。

背景技术

随着大数据技术的发展，数据集市的使用也越来越广泛。数据集市可以满足特定部门或用户的需求，按照多维的方式进行存储，包括定义维度、需要计算的指标、维度的层次等，生成面向决策分析需求的数据立方体。数据集市中的数据可以来自于数据仓库，数据仓库向数据集市提供的数据需要经过数据建模，而字段的维度清洗又是数据建模中非常关键的一环。

字段的维度清洗是指，输入业务系统某一维度下的字段，归约得到数据分析场景中包含多个层级的规范化维度信息。传统的维度清洗技术通常使用SQL语句，操作复杂，清洗效率较低，且由于业务场景的多样性，维度种类繁多，容易引入维度归约错误的清洗代码，使得维度清洗的准确性较低。

发明内容

本申请实施例的目的在于提出一种维度清洗方法、装置、计算机设备及存储介质，以解决维度清洗准确性较低的问题。

为了解决上述技术问题，本申请实施例提供一种维度清洗方法，采用了如下所述的技术方案：

获取待清洗字段；

读取所述待清洗字段的字段属性；

根据所述字段属性确定所述待清洗字段所在的维度等高树以及对应的清洗策略，其中，所述清洗策略包括至少一个层级的归约策略，所述归约策略包括正则匹配归约、等值映射归约和DSL判断归约；

通过所述维度等高树和所述清洗策略对所述待清洗字段进行维度清洗，得到维度清洗结果。

为了解决上述技术问题，本申请实施例还提供一种维度清洗装置，采用了如下所述的技术方案：

字段获取模块，用于获取待清洗字段；

属性读取模块，用于读取所述待清洗字段的字段属性；

确定模块，用于根据所述字段属性确定所述待清洗字段所在的维度等高树以及对应的清洗策略，其中，所述清洗策略包括至少一个层级的归约策略，所述归约策略包括正则匹配归约、等值映射归约和DSL判断归约；

字段清洗模块，用于通过所述维度等高树和所述清洗策略对所述待清洗字段进行维度清洗，得到维度清洗结果。

为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：

获取待清洗字段；

读取所述待清洗字段的字段属性；

根据所述字段属性确定所述待清洗字段所在的维度等高树以及对应的清洗策略，其中，所述清洗策略包括至少一个层级的归约策略，所述归约策略包括正则匹配归约、等值映射归约和DSL判断归约；

通过所述维度等高树和所述清洗策略对所述待清洗字段进行维度清洗，得到维度清洗结果。

为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：

获取待清洗字段；

读取所述待清洗字段的字段属性；