[发明专利]一种数据质量检测方法及装置

权利要求书

1.一种数据质量检测方法，其特征在于，所述方法包括：

针对待检测数据集合中每个检测字段，根据该检测字段的属性值，及预设的与该检测字段存在逻辑关系的至少一个目标字段的属性值，确定所述待检测数据集合中该检测字段的属性值与所述至少一个目标字段的属性值不满足所述逻辑关系的数据的数量；

针对待检测数据集合中每个检测字段，确定该检测字段对应不满足逻辑关系的数据的数量与所述待检测数据集合中数据的总数量的比值，并判断该检测字段对应的比值是否小于设定的阈值；如果是，确定所述待检测数据集合在该检测字段的质量达标。

2.如权利要求1所述的方法，其特征在于，所述根据该检测字段的属性值，及预设的与该检测字段存在逻辑关系的至少一个目标字段的属性值，确定所述待检测数据集合中该检测字段的属性值与所述至少一个目标字段的属性值不满足所述逻辑关系的数据的数量之前，所述方法还包括：

去除所述待检测数据集合中在该检测字段存在缺失值的数据。

3.如权利要求1所述的方法，其特征在于，如果该检测字段对应的比值不小于设定的阈值，所述方法还包括：

将所述待检测数据集合的该检测字段标记为存在逻辑问题，并发出告警信息。

4.如权利要求1所述的方法，其特征在于，所述针对待检测数据集合中每个检测字段，根据该检测字段的属性值，及预设的与该检测字段存在逻辑关系的至少一个目标字段的属性值，确定所述待检测数据集合中该检测字段的属性值与所述至少一个目标字段的属性值不满足所述逻辑关系的数据的数量之前，所述方法还包括：

识别所述待检测数据集合中数据的总数量是否大于设定的数量阈值；

如果是，按照预设的抽样比例，抽取所述待检测数据集合中的数据对所述待检测数据集合进行更新。

5.一种数据质量检测装置，其特征在于，所述装置包括：

确定模块，用于针对待检测数据集合中每个检测字段，根据该检测字段的属性值，及预设的与该检测字段存在逻辑关系的至少一个目标字段的属性值，确定所述待检测数据集合中该检测字段的属性值与所述至少一个目标字段的属性值不满足所述逻辑关系的数据的数量；

检测模块，用于针对待检测数据集合中每个检测字段，确定该检测字段对应不满足逻辑关系的数据的数量与所述待检测数据集合中数据的总数量的比值，并判断该检测字段对应的比值是否小于设定的阈值；如果是，确定所述待检测数据集合在该检测字段的质量达标。

6.如权利要求5所述的装置，其特征在于，所述装置还包括：

去除模块，用于去除所述待检测数据集合中在该检测字段存在缺失值的数据。

7.如权利要求5所述的装置，其特征在于，所述装置还包括：

告警模块，用于如果该检测字段对应的比值不小于设定的阈值，将所述待检测数据集合的该检测字段标记为存在逻辑问题，并发出告警信息。

8.如权利要求5所述的装置，其特征在于，所述装置还包括：

识别抽样模块，用于识别所述待检测数据集合中数据的总数量是否大于设定的数量阈值；并在所述待检测数据集合中数据的总数量大于设定的数量阈值时，按照预设的抽样比例，抽取所述待检测数据集合中的数据对所述待检测数据集合进行更新。