[发明专利]维度清洗方法、装置、计算机设备及存储介质

权利要求书

1.一种维度清洗方法，其特征在于，包括下述步骤：

获取待清洗字段；

读取所述待清洗字段的字段属性；

根据所述字段属性确定所述待清洗字段所在的维度等高树以及对应的清洗策略，其中，所述清洗策略包括至少一个层级的归约策略，所述归约策略包括正则匹配归约、等值映射归约和DSL判断归约；

通过所述维度等高树和所述清洗策略对所述待清洗字段进行维度清洗，得到维度清洗结果。

2.根据权利要求1所述的维度清洗方法，其特征在于，在所述根据所述字段属性确定所述待清洗字段所在的维度等高树以及对应的清洗策略的步骤之前还包括：

获取预设字段属性；

接收针对所述预设字段属性的预设清洗策略；

将所述预设字段属性和所述预设清洗策略对应存储。

3.根据权利要求2所述的维度清洗方法，其特征在于，所述接收针对所述字段属性的清洗策略的步骤包括：

当接收到触发的策略配置指令时，通过终端展示策略配置页面；

通过所述终端接收所述策略配置页面的策略配置模板中录入的策略配置信息，所述策略配置模板与所述预设字段属性相对应；

根据所述策略配置信息生成针对所述预设字段属性的预设清洗策略。

4.根据权利要求1所述的维度清洗方法，其特征在于，所述通过所述维度等高树和所述清洗策略对所述待清洗字段进行维度清洗，得到维度清洗结果的步骤包括：

将所述待清洗字段作为当前清洗字段，从所述清洗策略中读取与所述当前清洗字段对应的归约策略；

根据所述归约策略对所述当前清洗字段进行维度归约，得到归约字段，所述归约字段与所述维度等高树中的一结点相匹配；

获取所述归约字段的归约属性；

根据所述归约属性、所述维度等高树以及所述清洗策略对所述归约字段进行维度归约，得到维度清洗结果。

5.根据权利要求4所述的维度清洗方法，其特征在于，所述根据所述归约属性、所述维度等高树以及所述清洗策略对所述归约字段进行维度归约，得到维度清洗结果的步骤包括：

当通过所述归约属性确定所述归约字段为连续归约字段时，在所述维度等高树中确定与所述归约字段对应的结点；

以所述结点为起始结点，对所述维度等高树进行逆序遍历，得到遍历结点序列；

将所述遍历结点序列确定为维度清洗结果。

6.根据权利要求4所述的维度清洗方法，其特征在于，所述根据所述归约属性、所述维度等高树以及所述清洗策略对所述归约字段进行维度归约，得到维度清洗结果的步骤包括：

当通过所述归约属性确定所述归约字段为非连续归约字段时，将所述归约字段作为下一层级维度清洗的当前清洗字段，并根据所述清洗策略对所述当前清洗字段进行迭代归约，直至得到的归约字段为所述维度等高树中的根结点；

根据各归约字段生成维度清洗结果。

7.根据权利要求1所述的维度清洗方法，其特征在于，在所述通过所述维度等高树和所述清洗策略对所述待清洗字段进行维度清洗，得到维度清洗结果的步骤之后，还包括：

获取所述维度清洗结果的清洗结果数量；

根据所述待清洗字段的字段属性，获取与所述待清洗字段对应的预设结果数量；

当所述清洗结果数量与所述预设结果数量不相等时，生成清洗错误信息，并展示所述清洗错误信息。

8.一种维度清洗装置，其特征在于，包括：

字段获取模块，用于获取待清洗字段；

属性读取模块，用于读取所述待清洗字段的字段属性；

确定模块，用于根据所述字段属性确定所述待清洗字段所在的维度等高树以及对应的清洗策略，其中，所述清洗策略包括至少一个层级的归约策略，所述归约策略包括正则匹配归约、等值映射归约和DSL判断归约；

字段清洗模块，用于通过所述维度等高树和所述清洗策略对所述待清洗字段进行维度清洗，得到维度清洗结果。