[发明专利]一种数据质量检测方法及装置

说明书

本发明公开了一种数据质量检测方法及装置，所述方法包括：针对待检测数据集合中每个检测字段，根据该检测字段的属性值，及预设的与该检测字段存在逻辑关系的至少一个目标字段的属性值，确定所述待检测数据集合中该检测字段的属性值与所述至少一个目标字段的属性值不满足所述逻辑关系的数据的数量；针对待检测数据集合中每个检测字段，确定该检测字段对应不满足逻辑关系的数据的数量与所述待检测数据集合中数据的总数量的比值，并判断该检测字段对应的比值是否小于设定的阈值；如果是，确定所述待检测数据集合在该检测字段的质量达标，提供了一种能够反映数据内在实际意义的质量的数据质量检测方案。

技术领域

本发明涉及大数据科学技术领域，尤其涉及一种数据质量检测方法及装置。

背景技术

随着信息化的高速发展，大数据应运而生，大数据指的是一种规模达到在获取、存储、管理、分析等方面大大超出了传统数据库软件工具能力范围的数据集合，通过对大数据进行分析，可以为企业的决策等提供强有力的支持。目前大数据不仅成为各大互联网公司的战略方向，其它行业也开始探索大数据，但是伴随大数据而来的数据质量问题也比传统数据库中的问题要严峻的多。

数据质量检测是数据分析的前提和基础，因此能从不同方面对数据质量进行检测显得尤为重要，现有数据质量检测主要是对数据集合中数据的完整性、有效性等进行检测，并没有考虑到数据自身所表示的实际意义，只是从数据的完整性、有效性等浅层次对数据的质量进行检测，不能反映数据内在的实际意义的质量，因此急需一种能够反映数据内在实际意义的质量的数据质量检测方案。

发明内容

本发明提供一种数据质量检测方法及装置，用以解决现有技术不能反映数据内在实际意义的质量的问题。

第一方面，本发明公开了一种数据质量检测方法，所述方法包括：

针对待检测数据集合中每个检测字段，根据该检测字段的属性值，及预设的与该检测字段存在逻辑关系的至少一个目标字段的属性值，确定所述待检测数据集合中该检测字段的属性值与所述至少一个目标字段的属性值不满足所述逻辑关系的数据的数量；

针对待检测数据集合中每个检测字段，确定该检测字段对应不满足逻辑关系的数据的数量与所述待检测数据集合中数据的总数量的比值，并判断该检测字段对应的比值是否小于设定的阈值；如果是，确定所述待检测数据集合在该检测字段的质量达标。

进一步地，所述根据该检测字段的属性值，及预设的与该检测字段存在逻辑关系的至少一个目标字段的属性值，确定所述待检测数据集合中该检测字段的属性值与所述至少一个目标字段的属性值不满足所述逻辑关系的数据的数量之前，所述方法还包括：

去除所述待检测数据集合中在该检测字段存在缺失值的数据。

进一步地，如果该检测字段对应的比值不小于设定的阈值，所述方法还包括：

将所述待检测数据集合的该检测字段标记为存在逻辑问题，并发出告警信息。

进一步地，所述针对待检测数据集合中每个检测字段，根据该检测字段的属性值，及预设的与该检测字段存在逻辑关系的至少一个目标字段的属性值，确定所述待检测数据集合中该检测字段的属性值与所述至少一个目标字段的属性值不满足所述逻辑关系的数据的数量之前，所述方法还包括：

识别所述待检测数据集合中数据的总数量是否大于设定的数量阈值；

如果是，按照预设的抽样比例，抽取所述待检测数据集合中的数据对所述待检测数据集合进行更新。

第二方面，本发明公开了一种数据质量检测装置，所述装置包括：