[发明专利]基于标准SQL下的业务系统数据质量检测方法

说明书

本发明公开了一种基于标准SQL下的业务系统数据质量检测方法，包括如下步骤：进行业务数据和业务规则的基础配置，生成可执行SQL语句；执行生成的SQL语句，获取数据的中间结果；过滤异常数据，进行数据合并和统计。本发明具有如下有益效果：配置管理的优化；本发明能够有效的合并几十乃至几百的数据校验规则，实现一条SQL语句检测一个数据视图上的多个数据质量规则，提高了数据质量检测的速度；(3)本发明通过对数据视图执行标准SQL的方式，在数据质量校验字段上添加相关检测逻辑规则，执行SQL后在SQL语句返回结果的基础上，过滤及分解相关检测逻辑判定有异常的数据，实现对业务系统数据质量校验和异常数据的分离。

技术领域

本发明涉及数据库数据质量控制技术领域，尤其是涉及一种能够提高数据质量检测效率，实现业务系统数据质量校验和异常数据分离的基于标准SQL下的业务系统数据质量检测方法。

背景技术

随着企事业单位数字化程度的提高和企事业单位信息系统的广泛应用，信息系统业务数据的质量问题也日益凸现。数据质量问题轻则影响业务事务的一般处理和统计分析的准确性，重则影响企事业单位决策、客户关系、流程质量，甚至影响行业发展。近年来，数据二次应用的研究在企事业单位广泛展开。通过数据挖掘、数据仓库、在线分析等技术，对业务系统内存储的数据进行提取和分析，为企事业单位管理决策和业务执行提供支持。在数据二次应用中，数据质量问题的影响同样十分严重，因其不但无法再更正，更会造成分析错误，影响企事业单位管理和业务执行决策。

目前现有的一些针对数据库数据表单质量检测的解决方案，其主要实现方式也是基于SQL的处理方式，不过不同的地方在于，其主要的规则校验逻辑实现在SQL的WHERE子句层面，这就意味着每个SQL的配置只能满足一个业务规则的校验，伴随着整个业务层面的规则增加和修改，需要为每个规则都配置一个SQL语句并进行维护，同时为了获取数据质量的总体情况，需要对每个SQL都执行一次，大大增加了整个数据质量规则检测的运行时间。

发明内容

本发明为了克服现有技术中存在的每个SQL的配置只能满足一个业务规则的校验，整个数据质量规则检测的运行时间长的不足，提供了一种能够提高数据质量检测效率，实现业务系统数据质量校验和异常数据分离的基于标准SQL下的业务系统数据质量检测方法。

为了实现上述目的，本发明采用了以下技术方案：

一种基于标准SQL下的业务系统数据质量检测方法，包括如下步骤：

(1-1)进行业务数据和业务规则的基础配置，生成可执行SQL语句；

(1-2)执行生成的SQL语句，获取数据的中间结果；

(1-3)过滤异常数据，进行数据合并和统计。

本发明首先对业务数据进行模块化，把相互关联的业务校验需求进行合并，并在这个模块化的基础上，为每个模块建立对象的数据视图；接着进行数据业务规则代码化，把用业务描述的规则变更为可通过SQL执行的等价逻辑；最后以SQL执行的返回结果作为基础，对异常数据进行过滤提取，并进行异常数据的合并和输出显示。

作为优选，步骤(1-1)的具体步骤如下：

(2-1)将多个数据表格关联，生成数据视图；

(2-2)定义业务模块名称和数据视图名称；

(2-3)制定若干个数据质量校验业务规则，完成“业务模块”，“数据视图”和“业务规则”三者之间的映射；

(2-4)根据数据视图以及制定的各个数据质量校验业务规则，生成可执行SQL语句，完成“业务规则”和“可执行SQL语句”之间的映射。

数据模块抽象形成数据视图，更好的划分和归类质量检测的内容，同时能够有效的合并几十乃至几百的数据校验规则，实现一条SQL语句检测一个数据视图上的多个数据质量规则，提高了数据质量检测的速度