[发明专利]一种数据校验方法及装置

说明书

本申请公开了一种数据校验方法及装置，首先获取待校验数据，然后调用预设规则引擎对待校验数据进行多重校验，所述多重校验中依次包括数据量校验、字段内容校验、字段间关系校验、表内数值字段校验和表间关系校验，所述规则引擎中包括多个校验规则；在对所述待校验数据进行校验过程中，若校验通过，则自动进行下一项校验；若某项校验不通过，则存储并展示校验结果。所述数据校验方法及装置，通过调用预设规则引擎对数据实现校验，由于规则引擎为可嵌入应用程序的组件，因此用户可以方便的对规则引擎进行配置和修改，极大的方便了用户的使用；同时，所述数据校验方法及装置能够对数据进行多方位的数据校验，能够满足对校验要求较高的应用场景。

技术领域

本发明涉及数据处理技术，更具体的说，是涉及一种数据校验方法及装置。

背景技术

在监管数据报送系统中，根据监管要求，商业银行按照数据采集规范，按时上报银行相关数据。在上报相关数据时，数据需要按照数据质量要求满足一定的规则，否则将记录错误信息，并对银行上报数据错误情况统计，如果错误较多则责令相关银行更改或处罚等。因此在将数据上报监管部门前，相关的数据校验就尤为必要。

现有的数据校验方法，大部分只针对单个字段数据进行校验，比如校验手机号码是否符合特定规则等；少部分可对不同字段数据间进行逻辑关系校验，如A字段数字加B字段数字满足条件等于C字段数字。由此可见现有技术的数据校验方法对数据的校验类型比较单一，校验功能有限，且校验规则直接固化在代码中，不利于修改和展示。

发明内容

有鉴于此，本发明提供了一种数据校验方法及装置，以克服现有技术中数据校验方法校验功能有限且校验规则不易修改的问题。

为实现上述目的，本发明提供如下技术方案：

一种数据校验方法，包括：

获取待校验数据；

调用预设规则引擎对所述待校验数据进行多重校验，所述多重校验中依次包括数据量校验、字段内容校验、字段间关系校验、表内数值字段校验和表间关系校验，所述规则引擎中包括多个校验规则；

在对所述待校验数据进行校验过程中，若校验通过，则自动进行下一项校验；若某项校验不通过，则存储并展示校验结果。

可选的，还包括：

在对所述待校验数据进行校验过程中，根据数据频度自动更新所述校验规则中的阈值。

可选的，所述根据数据频度自动更新所述校验规则中的阈值，包括：

依据历史均值、指数加权平均值、逻辑回归数值和预警分布概率更新所述校验规则中的阈值；

或，

通过关联性分析不同表之间的预警情况进行动态更新。

可选的，所述待校验数据为表A，对所述待校验数据进行所述数据量校验，包括：

统计所述表A中当月数据的数据量，并将所述数据量与规则引擎中配置的阈值和历史数据量进行比较，若发现差异超过阈值则预警。

可选的，对所述待校验数据进行所述表间关系校验，包括：

校验两个数据表中的字段之间是否满足第一预设关系。

可选的，在所述调用预设规则引擎对所述待校验数据进行多重校验前，还包括：

对所述待校验数据进行预处理。

可选的，所述对所述待校验数据进行预处理，包括：

对所述待校验数据进行筛选待校验日期数据、筛选待校验字段和产生辅助校验信息的处理。

可选的，在所述调用预设规则引擎对所述待校验数据进行多重校验后，还包括：