[发明专利]一种大数据质检方法、系统、存储介质及设备在审
申请号: | 202110085577.7 | 申请日: | 2021-01-22 |
公开(公告)号: | CN112783882A | 公开(公告)日: | 2021-05-11 |
发明(设计)人: | 朱水斌;胡乔治;范燎;罗稳;刘建;邓振强 | 申请(专利权)人: | 卓尔购信息科技(武汉)有限公司 |
主分类号: | G06F16/215 | 分类号: | G06F16/215;G06F16/2455;G06Q10/06 |
代理公司: | 武汉谦源知识产权代理事务所(普通合伙) 42251 | 代理人: | 尹伟 |
地址: | 430312 湖北省武汉市黄陂区*** | 国省代码: | 湖北;42 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据 质检 方法 系统 存储 介质 设备 | ||
1.一种大数据质检方法,其特征在于,包括如下步骤:
S1:读取数据库中的业务数据信息,根据业务数据信息和预定义规则计算质检指标数据,并构建质检指标数据池;
S2:根据质检目标任务确定对应的质检规则,并根据所述质检规则和质检指标数据池中的质检指标数据计算质检结果;
S3:将所述质检结果与对应的预设质检阈值直接进行比较,并在所述质检结果与预设质检阈值触发预警规则时生成预警信息。
2.根据权利要求1所述的大数据质检方法,其特征在于,所述步骤S2之前,还包括如下步骤:
根据质检目标任务对所述质检指标数据池中的质检指标数据进行筛选,并对筛选后的所述质检指标数据进行标记。
3.根据权利要求2所述的大数据质检方法,其特征在于,所述根据质检目标任务对所述质检指标数据池中的质检指标数据进行筛选的具体方法为:
根据所述质检目标任务确定目标业务数据类型,并根据所述目标质检指标数据类型从所述质检指标数据池中筛选出数据类型与所述目标质检指标数据类型相匹配的质检指标数据。
4.根据权利要求1-3任一项所述的大数据质检方法,其特征在于,所述步骤S1中,所述根据业务数据信息和预定义规则计算质检指标数据具体包括如下步骤:
S11:判断所述业务数据信息的数据量,并根据所述业务数据信息的数据量确定抽样比例;
S12:根据所述抽样比例对所述业务数据信息进行抽样,并根据抽样得到的所述业务数据信息和预定义规则计算质检指标数据。
5.一种大数据质检系统,其特征在于:包括质检指标数据池模块、质检规则引擎模块和预警模块;
所述质检指标数据池模块,用于读取数据库中的业务数据信息,根据业务数据信息和预定义规则计算质检指标数据,并构建质检指标数据池;
所述质检规则引擎模块,用于根据质检目标任务确定对应的质检规则,并根据所述质检规则和质检指标数据池中的质检指标数据计算质检结果;
所述预警模块,用于将所述质检结果与对应的预设质检阈值直接进行比较,并在所述质检结果与预设质检阈值触发预警规则时生成预警信息。
6.根据权利要求5所述的大数据质检系统,其特征在于:还包括筛选标记模块,用于根据质检目标任务对所述质检指标数据池中的质检指标数据进行筛选,并对筛选后的所述质检指标数据进行标记。
7.根据权利要求6所述的大数据质检系统,其特征在于:所述筛选标记模块根据质检目标任务对所述质检指标数据池中的质检指标数据进行筛选的具体实现为:
根据所述质检目标任务确定目标业务数据类型,并根据所述目标质检指标数据类型从所述质检指标数据池中筛选出数据类型与所述目标质检指标数据类型相匹配的质检指标数据。
8.根据权利要求5-7任一项所述的大数据质检系统,其特征在于:所述质检指标数据池模块根据业务数据信息和预定义规则计算质检指标数据的具体实现为:
判断所述业务数据信息的数据量,并根据所述业务数据信息的数据量确定抽样比例;
根据所述抽样比例对所述业务数据信息进行抽样,并根据抽样得到的所述业务数据信息和预定义规则计算质检指标数据。
9.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,所述计算机程序被处理器执行时,实现权利要求1至4任一项所述的大数据质检方法。
10.一种大数据质检设备,其特征在于,包括权利要求9所述的存储介质和处理器,所述处理器执行所述存储介质上的计算机程序时实现如权利要求1至4任一项所述大数据质检方法的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于卓尔购信息科技(武汉)有限公司,未经卓尔购信息科技(武汉)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110085577.7/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置