[发明专利]用于数据质量监控的系统和方法

权利要求书

1.一种计算机实现的方法，通过相对于预定的数据质量度量测量加载的数据的数据质量来监控数据质量，其中，通过把在质量规则中定义的逻辑演算应用于加载的数据来测量数据质量，所述方法包括：利用加载的数据的增量变化和/或质量规则的增量变化来进行数据质量测量。

2.按照权利要求1所述的计算机实现的方法，其中，数据源(100)具有包含多个元素的数据集，所述方法包括：提取(102,104)、加载(110,112)和把所述数据集变换（202）成具有数据集的每个元素一个单独数据列(404,406,408,410,404a,406a)的列式格式(122)。

3.按照权利要求1或2所述的计算机实现的方法，其中，质量规则的增量变化包含至少一个数据质量规则的至少一项的至少一种改变，所述至少一个数据质量规则包含项的级联，通过把变化的项应用(204，306)于加载的数据或者只应用于加载的数据的增量变化来进行质量测量。

4.按照任意前述权利要求所述的计算机实现的方法，其中，响应初始数据加载(110)，或者在单个数据列的至少一个元素改变的情况下，响应增量数据加载(306)，进行质量规则的应用(204)，所述方法进一步包括：沿着通过把质量规则分解成其各个项而获得并体现成树形结构因而被定义为分解树的相关性路径，创建多个列式数据对象(122)，每个列式数据对象(122)高速缓存把质量规则的各个项应用(204,306)于各个数据列(404,406,408,410,404a,406a)的中间结果，并因此被定义为中间列高速缓存(506,508,510,512,514,516,600,602,604,608,610,506a,508a,510a,5l2a,516a,602a,606a,608a)。

5.按照权利要求4所述的计算机实现的方法，其中，

-每一个单独数据列的一个列高速缓存(404,406,408,410,404a,406a)被描述为叶节点，

-质量规则的每一个单独项的一个列高速缓存(506,508,510,512,514,516,600,602,604,608,610,506a,508a,5l0a,512a,516a,602a,606a,608a)被描述为枝节点，

-质量规则的各个项的每个子集的一个列高速缓存(506,508,510,512,514,516,600,602,604,608,610,506a,508a,5l0a,5l2a,5l6a,602a,606a,608a)被描述为枝节点，

-用于表示应用的数据质量规则的总体结果的一个列高速缓存(506,508,510,512,514,516,600,602,604,608,610,506a,508a,510a,5l2a,516a,602a,606a,608a)被描述为根节点。

6.按照权利要求4或5的计算机实现的方法，其中，数据列(404,406,408,410,404a,406a)的更新只传播到按照分解树与各个相关数据列具有相关性的中间列高速缓存(506,508,510,512,514,516,600,602,604,608,610,506a,508a,510a,512a,516a,602a,606a,608a)。

7.按照权利要求6的计算机实现的方法，其中，通过根据与相关性路径相关联的质量规则中的运算符的类型来应用更新策略，最小化中间列高速缓存(506,508,510,512,514,516,600,602,604,608,610,506a,508a,5l0a,5l2a,5l6a,602a,606a,608a)的更新。

8.按照权利要求7的计算机实现的方法，其中，与相关性路径相关联的质量规则至少包含以下之一：标量运算、多列标量运算、聚合运算、和多列多值运算。

9.按照权利要求4-8任意之一所述的计算机实现的方法，其中，更新策略包含下列中的至少一个：

-与被更新的各个数据列具有相关性的各个中间列高速缓存的直接更新，

-标记各个中间列高速缓存的受影响的行，之后重新计算所述受影响的行，

-各个中间列高速缓存的无效。