[发明专利]数据质量规则控制方法及装置、存储介质、电子设备

说明书

本公开是关于一种数据质量规则控制方法及装置，属于数据处理技术领域。该方法包括：根据预设抽取规则自基础数据层抽取数据生成目标数据层；基于预设质控语法规则根据预设映射规则将目标数据层转化为二维数据层；通过预设算法将二维数据层转化为可供同步查询的多维数据立方体；其中，预设抽取规则、预设质控语法规则、预设映射规则以及预设算法均可基于数据质量需求调整。本公开一方面可以将规则和原始数据解耦，实现规则的快速迭代；另一方面可以基于需求通过灵活的处理方法不断调整数据质量。

技术领域

本公开涉及数据处理技术领域，具体而言，涉及一种数据质量规则控制方法、数据质量规则控制装置、计算机可读存储介质以及电子设备。

背景技术

数据质量是大数据行业的核心，是组织最具价值的资产之一。随着大数据的发展，数据来源的多样性，数据结构的复杂性，数据质控越来越困难。现有技术的数据质控大多基于一些固定的质量指标、质量阈值对数据进行批处理或者抽样。而质控技术中的扩展性、丰富度、弹性已成为质控技术领域面临的重大挑战。

现有技术方案大多通过以下流程监测数据质量：探查数据内容、结构和异常、建立数据质量度量并明确目标、设计和实施数据质量业务规则、将数据质量规则构建到数据集成过程中、检查异常并完善规则对照目标。

现有技术对于质控规则的录入、迭代和监控很难做到快速迭代和增强。规则具有中心化，耦合度高，验证能力差等缺点。其中中心化是指所有的质控规则都是通过质控平台增加配置，不具有开放性。因为数据是实时流入的，随时都可能会有新的质量问题出现，管理员第一时间很难发现质量问题；耦合度高是指数据的数据结构，用途、来源具有特别大的多样性，现有的技术基本都是规则和固定数据耦合，没有统一的质控数据层，质控DSL(Domain Specific Language，领域专用语言)，导致规则的更新、迭代效率低下。验证能力差是指如果数据中具有当前数据问题，并且规则质控出了问题，规则是有效的。但是检测不出问题可能是数据中现在已经没有了该问题，或者规则本身有问题。如何分辨往往较复杂。特别是有海量的质控规则后，如何验证规则的有效性也是数据质控的一大难题。

因此，需要提供一种新的数据质量规则控制方法及装置。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种数据质量规则控制方法、数据质量规则控制装置、计算机可读存储介质以及电子设备，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。

根据本公开的一个方面，提供一种数据质量规则控制方法，所述数据质量规则控制方法包括：

根据预设抽取规则自基础数据层抽取数据生成目标数据层；

基于预设质控语法规则根据预设映射规则将所述目标数据层转化为二维数据层；

通过预设算法将所述二维数据层转化为可供同步查询的多维数据立方体；

其中，所述预设抽取规则、所述预设质控语法规则、所述预设映射规则以及所述预设算法均可基于数据质量需求调整。

在本公开的一种示例性实施例中，所述根据预设抽取规则自基础数据层抽取数据生成目标数据层包括：

使用对应所述预设抽取规则的数据抽取器自基础数据层抽取数据生成目标数据层。

在本公开的一种示例性实施例中，所述基于预设质控语法规则根据预设映射规则将所述目标数据层转化为二维数据层包括：

基于预设领域专用语言的语法规则，根据预设联机分析处理映射规则将所述目标数据层转化为二维数据层；

其中，所述二维数据层可供异步查询。