[发明专利]数据检核方法、装置、电子设备及存储介质

说明书

本申请提供了一种数据检核方法、装置、电子设备及存储介质，利用预设监听器记录各检核规则对应的检核表及参照表的数据变化情况；在非首次执行第一检核规则的数据检核的过程中，获取第一检核规则对应的检核表及参照表的数据变化情况、以及第一检核规则上次的检核结果；根据第一检核规则对应的检核表及参照表的数据变化情况、以及第一检核规则上次的检核结果，得到第一检核规则当前的检核结果。利用第一检核规则对应的检核表及参照表的数据变化情况、以及第一检核规则上次的检核结果，得到第一检核规则当前的检核结果，不用每次检核时均从数据源中获取检核表及参照表中的全部数据，能够减少数据源服务器的读写压力，增加数据检核效率。

技术领域

本申请涉及计算机技术领域，特别是涉及数据检核方法、装置、电子设备及存储介质。

背景技术

在信息化应用不断发展的今天，数据是已经成为最具价值的资产之一。企业的数据质量与业务绩效之间存在着直接联系，高质量的数据可以提高公司的竞争力。如何对海量数据进行处理，获取高质量的数据，已经成为各行业关注的焦点。数据质量分析，支持对业务指标和数据质量进行监控，可以从完整性、有效性、及时性、准确性、唯一性六个维度对数据进行分析，数据质量检验可以帮助用户及时发现数据质量问题，及时纠正问题，减少损失。然而在信息大爆炸的今天，数据的种类和数据的量变得越大越庞大，数据质量分析面临着从海量数据中检核出有效数据的执行效率低下的问题。

现有技术中，通过JDBC(Java Database Connectivity，Java数据库连接)的方式，从数据源的检核表中获取数据，然后以检核表中的数据为条件，通过JDBC的方式，遍历参照表中查找是否有相同的数据，如果没有查到的话，就把检核表中的该数据作为错误数据返回给监控端，从而实现数据检核。

但是采用上述数据检核方法，每次执行检核任务时，都需要重复执行从数据源中获取检核表及参照表中的全部数据，数据源服务器的读写压力大，数据检核效率低。

发明内容

本申请实施例的目的在于提供一种数据检核方法、装置、电子设备及存储介质，以实现减少数据源服务器的读写压力，增加数据检核效率。具体技术方案如下：

第一方面，本申请实施例提供了一种数据检核方法，所述方法包括：

利用预设监听器记录各检核规则对应的检核表及参照表的数据变化情况，其中，一所述检核规则对应至少一检核表及至少一参照表；

在非首次执行第一检核规则的数据检核的过程中，获取所述第一检核规则对应的检核表及参照表的数据变化情况、以及所述第一检核规则上次的检核结果，其中，所述第一检测规则为任一检核规则；

根据所述第一检核规则对应的检核表及参照表的数据变化情况、以及所述第一检核规则上次的检核结果，得到所述第一检核规则当前的检核结果。

在一种可能的实施方式中，在所述利用预设监听器记录各检核规则对应的检核表及参照表的数据变化情况之前，所述方法还包括：

在首次执行所述第一检核规则的数据检核的过程中，获取所述第一检核规则对应的检核表中的全量数据及参照表中的全量数据并进行比较，得到所述第一检核规则首次的检核结果，其中，所述第一检核规则首次的检核结果包括所述第一检核规则对应的检核表中的错误数据；

将所述第一检核规则的对应的检核表中的错误数据存储到指定存储中；

所述利用预设监听器记录各检核规则对应的检核表及参照表的数据变化情况，包括：

利用预设监听器记录所述第一检核规则对应的检核表及参照表的数据变化情况。

在一种可能的实施方式中，所述根据所述第一检核规则对应的检核表及参照表的数据变化情况、以及所述第一检核规则上次的检核结果，得到所述第一检核规则当前的检核结果，包括：