[发明专利]一种数据检验的方法、装置和系统

说明书

本发明公开了一种数据检验的方法、装置和系统，属于大数据处理技术领域。方法包括：基于离线数据任务构建数据检验任务，离线数据任务包括：从源数据库抽取目标数据写入目标数据库中；确定数据检验任务相对于离线数据任务的执行顺序；按照执行顺序执行数据检验任务；执行中根据异常判断条件判断数据目标数据是否异常，若检验到异常，则中断数据检验任务，生成检验信息，当接收到用户根据检验信息提供的数据修改信息后，继续执行数据检验任务。本发明预先配置或基于自动获取并解析脚本生成的默认配置即可实现执行顺序设置，并基于离线数据任务可以自动判断执行顺序，提高了数据检验操作的灵活性和定位问题数据的准确性，提高了检验效率。

技术领域

本发明涉及大数据处理技术领域，特别涉及一种数据检验的方法、装置和系统。

背景技术

数据仓库存储技术(ETL)是一种将业务系统的数据经过抽取、清洗转换之后加载到数据仓库进行存储管理，为后续联机分析处理、数据挖掘提供基础数据的技术。为了保证入库数据的质量，从数据源抽取出来的数据在进入数据仓库之前需要进行数据检验。数据检验主要是对数据进行数据类型、取值范围、无效、重复等坏点数据的检测，以及唯一性、关联性、一致性、准确性、单字段，记录行统计型等校验。现有技术中，由于不同数据的质量评价标准不同，每天的数据检验均要引入新的检验方法，但是随着入库数据量的增加，数据检验的压力也越来越大，因此需要考虑一种快速实现数据检验的技术方案。

发明内容

为了解决现有技术的问题，本发明实施例提供了一种数据检验的方法、装置和系统。所述技术方案如下：

第一方面，提供了一种数据检验方法，所述方法包括：

基于离线数据任务构建数据检验任务，所述离线数据任务包括：从源数据库抽取目标数据写入目标数据库中；

确定所述数据检验任务相对于所述离线数据任务的执行顺序；

按照所述执行顺序执行所述数据检验任务；

执行中根据异常判断条件判断所述目标数据是否异常，若检验到异常，则中断所述数据检验任务，生成检验信息，当接收到用户根据所述检验信息提供的数据修改信息后，继续执行所述数据检验任务。

进一步地，所述按照所述执行顺序执行所述数据检验任务，包括：

若所述数据检验任务为执行中任务，则将所述目标数据从所述源数据库中抽取写入到临时数据库中，对所述临时数据库中的所述目标数据执行同步数据检验；

若所述目标数据通过检验，则将所述临时数据库中的所述目标数据同步写入到所述目标数据库中，待从所述源数据库抽取出的所述目标数据全部通过检验并写入到所述目标数据库后删除所述临时数据库，

若所述目标数据未通过检验，则将所述临时数据库删除。

进一步地，所述按照所述执行顺序执行所述数据检验任务，包括：

若所述数据检验任务为前置任务，则在所述目标数据抽取之前在所述源数据库中执行所述数据检验任务；若所述目标数据通过检验，则将其从所述源数据库中抽取出并写入所述目标数据库中。

进一步地，所述按照所述执行顺序执行所述数据检验任务，包括：

若所述数据检验任务为后置任务，则在所述目标数据从所述源数据库抽取写入到所述目标数据库后，在所述目标数据库中执行所述数据检验任务。

进一步地，所述基于离线数据任务构建数据检验任务，包括：

获取所述离线数据任务；

判断所述离线数据任务是否有对应的数据检验规则，若有，则为所述离线数据任务配置数据检验规则，并获取资源元数据以及检验参数表；