[发明专利]一种数据检测方法、装置和电子设备

权利要求书

1.一种数据检测方法，其特征在于，包括：

获得预先设置的数据作业链路，其中，所述数据作业链路包括：具有处理依赖关系的多个数据处理作业以及分别与各所述数据处理作业对应的数据检查作业；在所述数据作业链路中，具有处理依赖关系的两个数据处理作业之间设置有所述数据检查作业，且所述数据检查作业与所述两个数据处理作业中被依赖的所述数据处理作业对应；

按照所述处理依赖关系，依次执行所述数据作业链路中的所述数据处理作业和所述数据检查作业。

2.根据权利要求1所述的方法，其特征在于，所述按照所述处理依赖关系，依次执行所述数据作业链路中的所述数据处理作业和所述数据检查作业，包括：

在所述数据作业链路中的目标数据处理作业执行结束后，执行所述目标数据处理作业对应的目标数据检查作业，以对所述目标数据处理作业产生的业务数据进行检查；

当所述目标数据检查作业的检查结果为数据无异常时，执行依赖所述目标数据处理作业的其他数据处理作业。

3.根据权利要求2所述的方法，其特征在于，所述目标数据检查作业所包括的检查项目与所述目标数据处理作业对应，和/或，所述目标数据检查作业至少包括如下检查项目中的至少一种：

数据记录检查：检查数据表中存储的所述目标数据处理作业产生的业务数据是否存在记录异常的情况；

数据统计检查：统计所述数据表中存储的所述目标数据处理作业产生的业务数据的变化情况，以检查所述所述数据表中存储的所述目标数据处理作业产生的业务数据是否存在统计特征异常的情况；

数据应用检查：对所述数据表中存储的所述目标数据处理作业产生的业务数据进行综合分析，以确定是否将其提供给所述目标数据检查作业下游的数据处理作业。

4.根据权利要求3所述的方法，其特征在于，所述记录异常包括字段要素缺失、字段要素取值异常和记录缺失中的至少一种。

5.根据权利要求3所述的方法，其特征在于，所述统计特征异常包括数据翻倍、异常减少和比重突变中的至少一种。

6.根据权利要求3所述的方法，其特征在于，所述方法还包括：根据所述项目检查的结果，确定所述数据表中、所述目标数据处理作业产生的业务数据的质量等级。

7.根据权利要求6所述的方法，其特征在于，所述根据所述项目检查的结果，确定所述数据表中、所述目标数据处理作业产生的业务数据的质量等级，包括：

若所述目标数据处理作业产生的业务数据存在字段要素缺失、字段要素取值异常或记录缺失的情况，则确定为不可容忍等级；

若所述目标数据处理作业产生的业务数据超过预设的取值范围或数据不合法，则确定为警告等级；

若所述目标数据处理作业产生的业务数据偏离历史数据的统计范围，则确定为关注等级；

若所述目标数据处理作业产生的业务数据不被确定为所述不可容忍等级、所述警告等级或所述关注等级，则确定为正常等级。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

若质量等级为不可容忍等级或警告等级，则向相应的联系人发送相应数据的相应通知；

若质量等级为关注等级或正常等级，则将相应数据的异常信息记录在日志中。

9.一种数据检测装置，其特征在于，包括：链路获得单元和作业执行单元；

所述链路获得单元，被配置为执行获得预先设置的数据作业链路，其中，所述数据作业链路包括：具有处理依赖关系的多个数据处理作业以及分别与各所述数据处理作业对应的数据检查作业；在所述数据作业链路中，具有处理依赖关系的两个数据处理作业之间设置有所述数据检查作业，且所述数据检查作业与所述两个数据处理作业中被依赖的所述数据处理作业对应；

所述作业执行单元，被配置为执行按照所述处理依赖关系，依次执行所述数据作业链路中的所述数据处理作业和所述数据检查作业。

10.一种电子设备，其特征在于，所述电子设备包括至少一个处理器、以及与所述处理器连接的至少一个存储器、总线；其中，所述处理器、所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序，所述程序至少用于实现权利要求1至8中任一项所述的数据检测方法。