[发明专利]数据验证方法及装置、电子设备、存储介质

说明书

本公开实施例是关于一种数据验证方法及装置、电子设备、存储介质，涉及大数据技术领域，该方法包括：根据采样方式获取测试数据，并获取待测试的清洗函数；根据所述待测试的清洗函数对所述测试数据进行清洗操作，以得到所述测试数据的清洗数据；基于所述清洗数据对所述待测试的清洗函数进行验证，以获取验证结果。本公开的技术方案能够快速及时地对清洗结果进行验证，从而提高数据清洗的准确性。

技术领域

本公开涉及大数据技术领域，具体而言，涉及一种数据验证方法、数据验证装置、电子设备以及计算机可读存储介质。

背景技术

随着数据量的快速增长，不同场地的数据的标准可能存在很大差异，因此通过数据清洗能够使得数据一致。

相关技术中，通常在程序中增加监控日志，将调试信息记录，任务完成后通过系统日志排查数据清洗过程中的问题；或者是将问题数据提取出来创建小数据集，迭代时只清洗提取的小数据集，待小数据集结果验证通过后，再重新处理全量数据。

上述方式中，数据量大时输出日志较多，难以提取到有效信息；并且排查日志、创建小数据集需要有指定权限，因此具有一定的局限性，效率较低且不能及时验证。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种数据验证方法及装置、电子设备、存储介质，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的数据清洗验证效率较低的问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的一个方面，提供了一种数据验证方法，包括：根据采样方式获取测试数据，并获取待测试的清洗函数；根据所述待测试的清洗函数对所述测试数据进行清洗操作，以得到所述测试数据的清洗数据；基于所述清洗数据对所述待测试的清洗函数进行验证，以获取验证结果。

在本公开的一种示例性实施例中，所述采样方式为自动采样方式，根据采样方式获取测试数据包括：通过所述自动采样方式确定数据查询语句，并使用所述数据查询语句确定所述测试数据。

在本公开的一种示例性实施例中，通过所述自动采样方式确定数据查询语句，并使用所述数据查询语句确定所述测试数据包括：对用于表示清洗操作的配置文件进行解析确定数据查询语句，并根据所述数据查询语句从多个数据中获取所述测试数据。

在本公开的一种示例性实施例中，对用于表示清洗操作的配置文件进行解析确定数据查询语句包括：对所述配置文件中的语法信息进行解析获取数据抽取规则，并采用所述数据抽取规则确定数据查询语句。

在本公开的一种示例性实施例中，获取待测试的清洗函数包括：将配置文件中包含的清洗函数确定为所述待测试的清洗函数。

在本公开的一种示例性实施例中，基于所述清洗数据对所述待测试的清洗函数进行验证，以获取验证结果包括：若所述清洗数据与针对所述测试数据的实际数据一致，则确定所述验证结果为验证成功；若所述清洗数据与针对所述测试数据的实际数据不一致，则确定所述验证结果为验证失败。

在本公开的一种示例性实施例中，所述方法还包括：若检测到所述验证结果为验证失败，则根据失败类型对所述清洗函数或所述测试数据进行调整，并根据调整后的清洗函数或调整后的测试数据继续进行验证。

根据本公开的一个方面，提供一种数据验证装置，包括：测试对象获取模块，用于根据采样方式获取测试数据，并获取待测试的清洗函数；数据清洗模块，用于根据所述待测试的清洗函数对所述测试数据进行清洗操作，以得到所述测试数据的清洗数据；清洗验证模块，用于基于所述清洗数据对所述待测试的清洗函数进行验证，以获取验证结果。