[发明专利]大数据回归验证方法及大数据回归验证装置

说明书

本发明提供的大数据回归验证方法及大数据回归验证装置，首先将第一数据源信息、第二数据源信息以及数据特征信息添加到预设配置文件中，其次在检测到脚本运行指令时运行python自动化脚本以根据第一数据源信息和第二数据源信息建立业务系统数据库的第一数据访问通道以及大数据系统数据库的第二数据访问通道，然后基于数据特征信息对业务系统数据库和大数据系统数据进行数据加工计算，并对计算得到的业务系统数据库对应的第一结果文件以及大数据系统数据库对应的第二结果文件进行一致性比较，从而实现对业务系统数据库和大数据系统数据库中的数据的验证。如此，无需编写并反复修改结构化查询语言便能够实现数据验证，从而减少验证时间。

技术领域

本发明涉及大数据处理技术领域，具体而言，涉及一种大数据回归验证方法及大数据回归验证装置。

背景技术

随着大数据的发展，数据库作为存储数据、共享数据和管理数据的仓库，在数据分析和数据挖掘中扮演着重要的角色。因此，对数据库中的数据进行数据加工的验证以确保数据库中的数据在业务执行逻辑上的正确性是非常重要的。然而现有的对数据库中的数据进行数据加工验证的方法大多是基于人工编写的结构化查询语言（Structured QueryLanguage，SQL）进行的，但是这种验证方法需要反复修改SQL。

发明内容

为了改善上述问题，本发明提供了一种大数据回归验证方法及大数据回归验证装置，能够基于添加在预设配置文件中的数据特征信息对业务系统数据库和大数据系统数据进行数据加工计算，并对计算得到的业务系统数据库对应的第一结果文件以及大数据系统数据库对应的第二结果文件进行一致性比较，从而实现对业务系统数据库和大数据系统数据库中的数据的验证，无需编写并反复修改结构化查询语言。

本发明实施例的第一方面，提供了一种大数据回归验证方法，应用于计算机设备，所述方法包括：

获取第一数据源信息以及第二数据源信息，将所述第一数据源信息和所述第二数据源信息添加到预设配置文件中；

在所述预设配置文件中添加数据特征信息；

检测是否接收到脚本运行指令，若检测到所述脚本运行指令，运行预设的python自动化脚本，以基于所述预设配置文件中的第一数据源信息和第二数据源信息建立与业务系统数据库的第一数据访问通道以及与大数据系统数据库的第二数据访问通道；

根据所述数据特征信息分别通过所述第一数据访问通道和所述第二数据访问通道对所述业务系统数据库和所述大数据系统数据库中的数据进行数据加工计算，得到与所述业务系统数据库对应的第一结果文件以及与所述大数据系统数据库对应的第二结果文件；

判断所述第一结果文件和所述第二结果文件是否一致；

若一致，则判定所述业务系统数据库与所述大数据系统数据库通过数据验证；

若不一致，则提取所述第一结果文件和所述第二结果文件之间的差异数据，根据所述差异数据对所述预设配置文件进行修复并返回根据所述数据特征信息分别通过所述第一数据访问通道和所述第二数据访问通道对业务系统数据库和所述大数据系统数据库中的数据进行数据加工计算的步骤。

可选地，提取所述第一结果文件和所述第二结果文件之间的差异数据，包括：

获取所述第一结果文件中的多条第一结果数据以及所述第二结果文件中的多条第二结果数据；其中，所述第一结果数据和所述第二结果数据分别具有信息标识；

计算具有相同信息标识的第一结果数据和第二结果数据的相似度；

将相似度小于设定值的第一结果数据和第二结果数据进行打包得到目标结果数据；

根据所述目标结果数据得到所述差异数据。

可选地，根据所述差异数据对所述预设配置文件进行修复，包括：