[发明专利]一种数据处理方法、装置、设备及存储介质

说明书

本申请公开了一种数据处理方法、装置、设备及存储介质，所述方法包括：对于本申请的方案，基于数据库包括的至少两个数据模型以及数据模型之间的上下游关系，建立第一关系图谱；所述第一关系图谱包括至少两个节点以及至少一个有向边；基于所述至少两个节点以及所述至少一个有向边，确定所述第一关系图谱中的第一核心节点；对所述第一核心节点指向的数据模型进行比对，得到针对所述数据库的第一比对结果；基于所述第一比对结果，得到针对所述数据库的目标比对结果。本申请的方案在进行比对时，可以同时具有自动化程度高、准确率高、数据处理量小、比对效率高的特点。

技术领域

本申请涉及数据处理技术领域，涉及但不限于数据处理方法、装置、设备及存储介质。

背景技术

随着计算机技术的飞速发展，越来越多的技术应用在金融领域，传统金融业正在逐步向金融科技(Fintech)转变，但由于金融行业的安全性和实时性要求，也对技术提出了更高的要求。

面对数据库中海量的数据表，在计算逻辑不发生改变的前提下，若出现工具升级、机器迁移、调度工具变更等情况，需要快速比对升级前后或者迁移前后数据表的数据量及内容，判断升级前后或者迁移前后数据表的数据量及内容是否一致。

相关技术中的比对方案可以包括以下两种方案：

方案1、用遍历的方式全量比对数据库中的所有数据表，直至得到所有数据表的比对结果；

方案2、采用人工的方式梳理、筛选数据库中的核心表，然后逐一对数据库中的核心表进行并比对，再根据比对结果，人工确定进一步需要比对的对核心表的上下游表，然后在对该核心表的上下游表进行比对，直至得到所有数据表的比对结果。

可以看出，对于方案1，需要对数据库中的所有的数据表进行比对，比对过程的数据处理量较大，比对过程耗时长，导致比对效率较低；对于方案2，需要人工参与核心表的筛查，耗费人力资源大，且人工处理效率低，容易出错；导致比对准确率较低，效率低，人力消耗大。

发明内容

本申请提供一种数据处理方法及装置、设备、存储介质，在进行比对时，可以同时具有自动化程度高、准确率高、数据处理量小、比对效率高的特点。

本申请的技术方案是这样实现的：

本申请提供了一种数据处理方法，所述方法包括：

基于数据库包括的至少两个数据模型以及数据模型之间的上下游关系，建立第一关系图谱；所述第一关系图谱包括至少两个节点以及至少一个有向边；一个所述节点用于唯一指向所述至少两个数据模型中一个所述数据模型，一个所述有向边通过第一节点指向第二节点，所述有向边用于表征所述第一节点为所述第二节点的上游节点；

基于所述至少两个节点以及所述至少一个有向边，确定所述第一关系图谱中的第一核心节点；所述第一核心节点为所述第一关系图谱中重要性满足第一条件的节点；

对所述第一核心节点指向的数据模型进行比对，得到针对所述数据库的第一比对结果；所述比对用于判断第一核心节点指向的数据模型在第一状态和第二状态下的内容是否相同；

基于所述第一比对结果，得到针对所述数据库的目标比对结果；在所述目标比对结果中，每个所述数据模型的子比对结果为内容相同或内容不同。

本申请提供了一种数据处理装置，所述装置包括建立单元、确定单元、比对单元和处理单元。

建立单元，用于基于数据库包括的至少两个数据模型以及数据模型之间的上下游关系，建立第一关系图谱；所述第一关系图谱包括至少两个节点以及至少一个有向边；一个所述节点用于唯一指向所述至少两个数据模型中一个所述数据模型，一个所述有向边通过第一节点指向第二节点，所述有向边用于表征所述第一节点为所述第二节点的上游节点；