[发明专利]一种基于数据相关性的数据质量稽核系统及方法

说明书

本发明公开了一种基于数据相关性的数据质量稽核系统及方法，用于对通信数据质量进行评估，包括数据抽样模块、稽核规则模块、相关性分析模块；数据抽象模块用于对通信数据进行多维度抽样，获取抽样数据；稽核规则模块用于根据需求自定义稽核规则对抽样数据的指标进行稽核；相关性分析模块用于对抽样数据多个相关的指标进行相关性分析，判断该相关性是否达到规定阈值。还公开了一种方法。实施本发明，从多维指标相关性出发，衡量数据质量，解决了现有稽核规则中的无法准确确定数据质量的问题。

技术领域

本发明涉及通信技术领域，特别涉及一种对通信数据质量进行评估的基于数据相关性的数据质量稽核系统及方法。

背景技术

据统计，数据科学家和数据分析员每天有30％的时间浪费在了辨别数据是否是“坏数据”上，在数据质量不高的环境下，做数据分析可谓是战战兢兢。可见数据质量问题已经严重影响了组织业务的正常运营。通过科学的数据质量管理，持续地提升数据质量，已经成为组织内刻不容缓的优先任务。

当我们谈到数据质量的时候，我们必须要有一个数据质量评估的标准，有了这个标准，我们才能知道如何评估数据的质量，才能把数据质量量化，并知道改进方向，并且考核改进后的效果。目前业内认可的数据质量的标准有：

1)准确性:描述数据是否与其对应的客观实体的特征相一致。

2)完整性:描述数据是否存在缺失记录或缺失字段。

3)一致性:描述同一实体的同一属性的值在不同的系统是否一致

4)有效性:描述数据是否满足用户定义的条件或在一定的域值范围内。

5)唯一性:描述数据是否存在重复记录。

6)实时性:描述数据的产生和供应是否及时。

7)稳定性:描述数据的波动是否是稳定的，是否在其有效范围内。

以上定义了数据质量标准通用的一些规则，针对的都是数据的单一指标，而有的数据质量问题需要对数据中多个指标进行相关性分析，才能洞察数据质量是否有问题。

发明内容

现有技术中，对移动通信数据质量进行评估时，仅仅基于单一指标，但是有的数据质量问题需要对数据中多个指标进行相关性分析，才能确定数据质量是否有问题。

针对上述问题，提出一种对通信数据质量进行评估的基于数据相关性的数据质量稽核系统及方法，通过对通信数据进行多维度抽样，并通过自定义稽核规则对所述抽样数据的指标进行稽核；利用相关性分析模块对抽样数据多个相关的指标进行相关性分析，判断该相关性是否达到规定阈值，从多维指标相关性出发，衡量数据质量，解决了现有稽核规则中的无法准确确定数据质量的问题。

第一方面，一种基于数据相关性的数据质量稽核系统，用于对通信数据质量进行评估，包括：

数据抽样模块；

稽核规则模块；

相关性分析模块；

所述数据抽象模块用于对通信数据进行多维度抽样，获取抽样数据；

所述稽核规则模块用于根据需求自定义稽核规则对所述抽样数据的指标进行稽核；

所述相关性分析模块用于对所述抽样数据多个相关的指标进行相关性分析，判断该相关性是否达到规定阈值。

结合本发明所述的基于数据相关性的数据质量稽核系统，第一种可能的实施方式中，所述相关性分析模块包括：

自定义单元；

调校单元；

所述自定义单元用于根据需求选择多个要进行相关性分析的指标；