[发明专利]一种数据质量监控的方法及系统

摘要

本发明公开了一种数据质量监控的方法，包括：（1）配置监控规则，数据质量监控规则借用调度的前端来实现；（2）传递监控规则：监控规则被调度系统以配置信息的方式传递到计算框架，计算框架通过上下文方式进一步传递这些规则信息；（3）识别监控规则：计算框架通过上下文信息，获取到这些监控规则，计算框架默认以ruler字符串开头的配置信息作为数据质量监控规则的配置，计算框架对要产出的每一行数据使用这些监控规则，并判断每一行数据是否分别满足这些监控规则，对满足的分别进行统计计数；（4）输出监控数据：数据产出完毕时，这些数据质量监控数据通过计数器counter的方式输出。还有数据质量监控的系统。

主权项

1.一种数据质量监控的方法，其特征在于：该方法包括以下步骤：/n(1)配置监控规则，数据质量监控规则借用调度的计算框架来实现；/n(2)传递监控规则：监控规则被调度系统以配置信息的方式传递到计算框架，计算框架通过上下文方式进一步传递这些规则信息；/n(3)识别监控规则：计算框架通过上下文信息，获取到这些监控规则，计算框架默认以ruler字符串开头的配置信息作为数据质量监控规则的配置，计算框架对要产出的每一行数据使用这些监控规则，并判断每一行数据是否分别满足这些监控规则，对满足的分别进行统计计数；/n(4)输出监控数据：数据产出完毕时，这些数据质量监控数据通过计数器counter的方式输出；/n所述步骤(1)中监控规则包括：ruler1、第一列数据为空；ruler2、第二列数据加上第三列数据的值不等于1；ruler3、第十列数据大于等于1000。/n