[发明专利]数据校验方法、装置、设备及可读存储介质

说明书

本申请实施例公开了一种数据校验方法、装置、设备及可读存储介质，涉及人工智能和医疗领域，其中，方法包括：获取源数据表和目标数据表，确定源数据表和目标数据表的表格类型；若源数据表的表格类型和目标数据表的表格类型均为全量表格，分别确定源数据表中的数据量和目标数据表中的数据量是否大于数据量阈值；若是，对源数据表进行分区处理，得到源分区表，以及对目标数据表进行分区处理，得到目标分区表；基于源分区表中的源分区字段和目标分区表中的目标分区字段进行校验；若任一源分区表中的源分区字段和对应的目标分区表中目标分区字段间的数据校验不通过，则确定源数据表与目标数据表不一致。采用本申请实施例，可以提高数据校验效率。

技术领域

本申请涉及人工智能技术领域，尤其涉及一种数据校验方法、装置、设备及可读存储介质。

背景技术

数据校验是大数据领域重要的质量保证手段，在海量的数据规模、快速的数据流转、多样的数据类型面前，为了保证数据清洗和处理过程中数据的有效性和流转到下游系统的数据准确性，能快速检验数据的准确性在大数据行业有很大的应用，能帮助数仓系统保证海量数据的有效性，提升下游系统数据分析结果的可靠性。如在医疗领域中，需要针对大量医疗数据进行数据校验。

现有技术中数据校验面对海量、复杂的数据资源时，需要通过人工对不同表格中的每个字段进行对比校验，导致数据校验效率较低。

发明内容

本申请实施例提供一种数据校验方法、装置、设备及可读存储介质，可以提高数据校验效率。

第一方面，本申请提供一种数据校验方法，包括：

获取源数据表和目标数据表，确定该源数据表的表格类型和该目标数据表的表格类型；

若该源数据表的表格类型和该目标数据表的表格类型均为全量表格，则分别确定该源数据表中的数据量和该目标数据表中的数据量是否大于数据量阈值；

若该源数据表中的数据量和该目标数据表中的数据量均大于该数据量阈值，则对该源数据表进行分区处理，得到至少一个源分区表，以及对该目标数据表进行分区处理，得到至少一个目标分区表；

基于该至少一个源分区表中的源分区字段和该至少一个目标分区表中的目标分区字段进行数据校验；

若任一源分区表中的源分区字段和对应的目标分区表中的目标分区字段之间的数据校验不通过，则确定该源数据表与该目标数据表不一致，该对应的目标分区表为该至少一个目标分区表中与该任一源分区表对应的分区表。

第二方面，本申请提供一种数据校验装置，包括：

数据获取模块，用于获取源数据表和目标数据表，确定该源数据表的表格类型和该目标数据表的表格类型；

数量确定模块，用于若该源数据表的表格类型和该目标数据表的表格类型均为全量表格，则分别确定该源数据表中的数据量和该目标数据表中的数据量是否大于数据量阈值；

分区处理模块，用于若该源数据表中的数据量和该目标数据表中的数据量均大于该数据量阈值，则对该源数据表进行分区处理，得到至少一个源分区表，以及对该目标数据表进行分区处理，得到至少一个目标分区表；

数据校验模块，用于基于该至少一个源分区表中的源分区字段和该至少一个目标分区表中的目标分区字段进行数据校验；

结果确定模块，用于若任一源分区表中的源分区字段和对应的目标分区表中的目标分区字段之间的数据校验不通过，则确定该源数据表与该目标数据表不一致，该对应的目标分区表为该至少一个目标分区表中与该任一源分区表对应的分区表。

结合第二方面，在一种可能的实现方式中，该分区处理模块，具体用于：

基于该源数据表中的数据量确定针对该源数据表的等分划分规则，采用该等分划分规则对该源数据表进行划分，得到该至少一个源分区表；或者，