[发明专利]基于虚拟质检机器人的数据资产质检方法及装置

权利要求书

1.一种基于虚拟质检机器人的数据资产质检方法，其特征在于，所述方法应用于虚拟质检机器人，所述方法包括：

所述虚拟质检机器人基于所述虚拟质检机器人的任务执行调度器，确定数据资产存储库中当前需执行质检任务的目标数据资产；

所述虚拟质检机器人根据所述目标数据资产匹配的数据质检工具，检测所述目标数据资产中是否存在不满足数据质检条件的异常数据资源；

当所述目标数据资产中存在所述异常数据资源时，所述虚拟质检机器人根据所述异常数据资源，生成所述目标数据资产对应的质量问题清单，以使所述目标数据资产对应的管理人员知悉所述目标数据资产的质检情况。

2.根据权利要求1所述的基于虚拟质检机器人的数据资产质检方法，其特征在于，在所述虚拟质检机器人根据所述目标数据资产匹配的数据质检工具，检测所述目标数据资产中是否存在不满足数据质检条件的异常数据资源之前，所述方法还包括：

所述虚拟质检机器人基于所述任务执行调度器，确定所述目标数据资产匹配的数据质检任务以及所述数据质检任务对应的质检工具，作为所述目标数据资产匹配的数据质检工具，其中，所述数据质检任务包括属性校验任务和/或异常数据筛选任务，所述属性校验任务对应的质检工具包括属性校验工具，所述异常数据筛选任务对应的质检工具包括质检算法模型；

以及，所述虚拟质检机器人根据所述目标数据资产匹配的数据质检工具，检测所述目标数据资产中是否存在不满足数据质检条件的异常数据资源，包括：

当所述数据质检任务包括所述属性校验任务时，所述虚拟质检机器人基于所述属性校验工具，检测所述目标数据资产的数据字段的属性值是否满足所述属性校验任务对应的属性校验条件，当所述属性值不满足所述属性校验条件时，确定所述目标数据资产中存在不满足数据质检条件的异常数据资源；

当所述数据质检任务包括所述异常数据筛选任务时，所述虚拟质检机器人基于所述质检算法模型，检测所述目标数据资产的数据字段中是否存在异常数据，当所述数据字段中存在所述异常数据时，确定所述目标数据资产中存在不满足数据质检条件的异常数据资源。

3.根据权利要求2所述的基于虚拟质检机器人的数据资产质检方法，其特征在于，所述虚拟质检机器人基于所述属性校验工具，检测所述目标数据资产的数据字段的属性值是否满足所述属性校验任务对应的属性校验条件，包括：

所述虚拟质检机器人基于所述属性校验工具，生成所述目标数据资产的数据字段匹配的第一查询语句，并基于所述第一查询语句，查询所述数据字段的属性值；

所述虚拟质检机器人检测所述属性值是否为空字段；

当所述属性值为所述空字段时，所述虚拟质检机器人确定所述属性值不满足所述属性校验任务对应的属性校验条件；

当所述属性值不为所述空字段时，所述虚拟质检机器人检测所述属性值与其对应的属性类型是否相匹配；

当所述属性值与所述属性类型不匹配时，所述虚拟质检机器人确定所述属性值不满足所述属性校验任务对应的属性校验条件；

当所述属性值与所述属性类型相匹配时，所述虚拟质检机器人基于所述属性校验工具以及所述数据字段对应的数据标识，生成所述数据标识匹配的第二查询语句，并基于所述第二查询语句，查询与所述数据标识匹配的除所述数据字段之外的其他数据字段的目标属性值；

所述虚拟质检机器人检测所述属性值与所述目标属性值是否相匹配，当所述属性值与所述目标属性值不匹配时，确定所述属性值不满足所述属性校验任务对应的属性校验条件。

4.根据权利要求2或3所述的基于虚拟质检机器人的数据资产质检方法，其特征在于，所述质检算法模型包括四分位统计算法模型和/或孤立森林算法模型。