[发明专利]一种数据校验方法及装置在审
申请号: | 201910823356.8 | 申请日: | 2019-09-02 |
公开(公告)号: | CN110515937A | 公开(公告)日: | 2019-11-29 |
发明(设计)人: | 刘惠民;孔伟国;郭会;董冉冉 | 申请(专利权)人: | 中国农业银行股份有限公司 |
主分类号: | G06F16/215 | 分类号: | G06F16/215 |
代理公司: | 11227 北京集佳知识产权代理有限公司 | 代理人: | 王欢<国际申请>=<国际公布>=<进入国 |
地址: | 100005 北*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 校验 数据校验 规则引擎 校验数据 多重校验 预设规则 字段 调用 引擎 表间关系 数据实现 校验规则 校验结果 应用场景 应用程序 字段内容 数据量 校验和 嵌入 存储 配置 申请 展示 | ||
1.一种数据校验方法,其特征在于,包括:
获取待校验数据;
调用预设规则引擎对所述待校验数据进行多重校验,所述多重校验中依次包括数据量校验、字段内容校验、字段间关系校验、表内数值字段校验和表间关系校验,所述规则引擎中包括多个校验规则;
在对所述待校验数据进行校验过程中,若校验通过,则自动进行下一项校验;若某项校验不通过,则存储并展示校验结果。
2.根据权利要求1所述的数据校验方法,其特征在于,还包括:
在对所述待校验数据进行校验过程中,根据数据频度自动更新所述校验规则中的阈值。
3.根据权利要求2所述的数据校验方法,其特征在于,所述根据数据频度自动更新所述校验规则中的阈值,包括:
依据历史均值、指数加权平均值、逻辑回归数值和预警分布概率更新所述校验规则中的阈值;
或,
通过关联性分析不同表之间的预警情况进行动态更新。
4.根据权利要求1所述的数据校验方法,其特征在于,所述待校验数据为表A,对所述待校验数据进行所述数据量校验,包括:
统计所述表A中当月数据的数据量,并将所述数据量与规则引擎中配置的阈值和历史数据量进行比较,若发现差异超过阈值则预警。
5.根据权利要求1所述的数据校验方法,其特征在于,对所述待校验数据进行所述表间关系校验,包括:
校验两个数据表中的字段之间是否满足第一预设关系。
6.根据权利要求1所述的数据校验方法,其特征在于,在所述调用预设规则引擎对所述待校验数据进行多重校验前,还包括:
对所述待校验数据进行预处理。
7.根据权利要求6所述的数据校验方法,其特征在于,所述对所述待校验数据进行预处理,包括:
对所述待校验数据进行筛选待校验日期数据、筛选待校验字段和产生辅助校验信息的处理。
8.根据权利要求1所述的数据校验方法,其特征在于,在所述调用预设规则引擎对所述待校验数据进行多重校验后,还包括:
按照预设规则对所述校验结果进行规范化处理;
则所述存储并展示校验结果,包括:
存储并展示所述经过规范化处理的校验结果。
9.一种数据校验装置,其特征在于,包括:
数据获取模块,用于获取待校验数据;
多重校验模块,用于调用预设规则引擎对所述待校验数据进行多重校验,所述多重校验中依次包括数据量校验、字段内容校验、字段间关系校验、表内数值字段校验和表间关系校验,所述规则引擎中包括多个校验规则;
流程控制模块,用于在对所述待校验数据进行校验过程中,若校验通过,则控制自动进行下一项校验;若某项校验不通过,则控制存储并展示校验结果。
10.根据权利要求9所述的数据校验装置,其特征在于,还包括:
阈值更新模块,用于在所述多重校验模块在对所述待校验数据进行校验过程中,根据数据频度自动更新所述校验规则中的阈值。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国农业银行股份有限公司,未经中国农业银行股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910823356.8/1.html,转载请声明来源钻瓜专利网。