[发明专利]一种数据校验方法及装置

说明书

本发明提供了一种数据校验方法及装置，其中，该方法包括：从数据库中提取目标数据；为该目标数据配置多个校验规则；利用spark内存计算引擎，根据该多个校验规则对该目标数据进行校验，得到校验结果，可以解决相关技术中数据校验处理时间较长且校验规则更新都通过投产实现，无法满足即配即用的要求的问题，利用Spark内存计算引擎的灵活分配优势，实现了校验规则的即配即用，实现了用户不同场景多样化的校验规则配置与执行。

技术领域

本发明涉及数据处理领域，具体而言，涉及一种数据校验方法及装置。

背景技术

监管机构为有效利用金融机构报送数据进行分析，对报送数据的要求越来越高，明确提出了大量的数据校验规则并不定期调整或新增。目前数据校验处理时间较长且校验规则更新都通过投产实现，无法满足即配即用的要求，同时校验不通过的明细数据量较大无法通过前端查询分析。

针对相关技术中数据校验处理时间较长且校验规则更新都通过投产实现，无法满足即配即用的要求的问题，尚未提出解决方案。

发明内容

本发明实施例提供了一种数据校验方法及装置，以至少解决数据校验处理时间较长且校验规则更新都通过投产实现，无法满足即配即用的要求。

根据本发明的一个实施例，提供了一种数据校验方法，包括：

从数据库中提取目标数据；

为所述目标数据配置多个校验规则；

利用spark内存计算引擎，根据所述多个校验规则对所述目标数据进行校验，得到校验结果。

可选地，为所述目标数据配置多个校验规则包括：

从ES服务器中获取所述目标数据的属性对应的校验规则，通过excel模板对所述属性对应的校验规则的规则参数进行调整，以生成所述目标数据的所述多个校验规则；

通过客户端页面为所述目标数据选取多个属性对应的多个规则模板，通过所述多个规则模板为所述目标数据配置所述多个校验规则，其中，所述一个属性对应一个规则模板。

可选地，通过excel模板对所述属性对应的校验规则的规则参数进行调整，以生成所述目标数据的所述多个校验规则包括：

在所述excel模板中获取通过触控操作输入的调整所述属性对应的校验规则的规则参数的调整指令；

根据所述调整指令调整所述属性对应的校验规则的规则参数；

根据所述属性对应的校验规则与对应的调整后的规则参数生成所述目标数据的所述多个校验规则。

可选地，通过所述多个规则模板为所述目标数据配置所述多个校验规则包括：

分别在所述多个规则模板的每个规则模板中获取通过触控操作输入的规则参数；

基于所述多个规则模板与对应的所述规则参数为所述目标数据生成所述多个校验规则。

可选地，在所述为目标数据配置多个校验规则之后，所述方法还包括：

将所述目标数据与所述多个校验规则进行关联；

将关联后的所述目标数据与所述多个校验规则上传到所述ES服务器中。

可选地，利用spark内存计算引擎，根据所述多个校验规则对所述目标数据进行校验，得到校验结果包括：

在所述spark内存计算引擎中，为所述多个校验规则中的每个校验规则触发单个spark内存计算模块，分别基于所述spark内存计算模块对所述多个校验规则进行校验；

在校验完成之后释放spark内存计算模块的计算资源。

可选地，在所述spark内存计算引擎中，为所述多个校验规则中的每个校验规则触发单个spark内存计算模块之前，所述方法还包括：

获取所述spark内存计算引擎的计算总资源；