[发明专利]数据质量分析

说明书

背景技术

本说明书涉及数据质量分析。数据集的数据质量指示该数据集中的数据记录是否有错误。通常，在数据集的处理期间发生错误的情况下，该数据集的数据质量差。

发明内容

在一般方面，一种方法，包括：接收指示数据处理系统所生成的输出数据集的信息；基于与所述输出数据集有关的数据沿袭信息来识别所述输出数据集所依赖于的一个或多个上游数据集；分析所识别出的所述输出数据集所依赖于的一个或多个上游数据集中的一个或多个上游数据集，所述分析包括：针对该一个或多个上游数据集中的各特定上游数据集，应用以下规则中的一个或多个规则：(i)第一规则，用于指示所述特定上游数据集的简档与该特定上游数据集的参考简档之间的允许偏差，以及(ii)第二规则，用于指示针对所述特定上游数据集中的一个或多个数据元素中的各数据元素的一个或多个允许值或禁止值；基于应用所述一个或多个规则的结果，来选择所述上游数据集中的一个或多个上游数据集；以及输出与所选择的一个或多个上游数据集相关联的信息。

实施例可以包括以下特征中的一个或多个。

所述第一规则和所述第二规则中的一个或多个规则是自动生成的。所述第一规则是基于所述特定上游数据集的历史简档的自动化分析而自动生成的。所述参考简档基于所述特定上游数据集的历史平均简档。所述第二规则是基于所述特定上游数据集中的一个或多个数据元素的历史值的自动化分析而自动生成的。所述允许值或禁止值是基于所述自动化分析而确定的。

所述第一规则和所述第二规则中的一个或多个规则是由用户指定的。

所述方法还包括：通过用户界面来接收所述第一规则和所述第二规则中的一个或多个规则的指定。

数据沿袭信息指示所述输出数据集所依赖于的一个或多个数据集、依赖于该输出数据集的一个或多个数据集、或这两者。

分析一个或多个数据集中的各数据集以识别该一个或多个数据集的子集包括：确定该一个或多个数据集中的具有错误或可能具有错误的数据集；以及所述方法还包括：选择具有错误或可能具有错误的数据集作为所述子集。

分析一个或多个数据集中的各数据集以识别该一个或多个数据集的子集包括：识别特定数据集的简档和该特定数据集的参考简档之间的偏差超过相应的第一规则所指示的允许偏差的特定数据集；以及所述方法还包括：选择该特定数据集作为所述子集。

分析一个或多个数据集中的各数据集以识别该一个或多个数据集的子集包括：识别具有如下数据元素的特定数据集，其中该数据元素具有不满足相应的第二规则所指示的允许值或禁止值的值；以及所述方法还包括：选择该特定数据集作为所述子集。

所述还包括识别所述输出数据集中的数据元素，以及识别所述输出数据集所依赖于的一个或多个数据集包括：识别影响所识别出的所述输出数据集中的数据元素的数据集。识别所述输出数据集中的数据元素包括：识别具有错误或可能具有错误的数据元素。

所述方法还包括：生成所述上游数据集中的一个或多个上游数据集的简档。生成特定数据集的简档包括：在接收到所述特定数据集的新版本的情况下生成该特定数据集的新简档。

根据特定数据集的一个或多个先前简档而得到该特定数据集的参考简档。

输出与数据集的子集相关联的信息包括：输出该子集的各数据集的标识符。

输出与数据集的子集相关联的信息包括：输出与该子集的各数据集相关联的错误或可能错误的指示符。

所述方法还包括在用户界面上显示所述数据处理系统的表示，以及输出与数据集的子集相关联的信息包括：在该数据集的子集中的特定数据集的表示附近显示与该子集中的该特定数据集相关联的信息。所显示的与该子集中的该特定数据集相关联的信息包括：指示该特定数据集的简档和该特定数据集的参考简档之间的偏差的值。所显示的与该子集中的该特定数据集相关联的信息包括：表示该特定数据集中的不满足相应的第二规则所指示的允许值或禁止值的数据元素的个数的值。所述方法还包括：显示示出与数据集的子集有关的信息的信息泡或弹出窗口。

所述方法还包括提供用户界面以使得用户能够添加规则、修改规则或者移除规则。

所述数据集包括：一个或多个源数据集和一个或多个参考数据集，所述源数据集包括所述数据处理系统所要处理的数据元素，所述参考数据集包括所述数据处理系统在所述源数据集中的数据元素的处理中所参考的参考值。所述参考数据集包括与同所述数据处理系统相关的业务实体相关联的数据，并且所述源数据集包括与所述业务实体的客户相关联的数据。