[发明专利]跨平台同步数据的数据质量检查方法、装置及存储介质

说明书

本发明提供了一种跨平台同步数据的数据质量检查方法、装置及存储介质，该方法包括：获取源数据平台的第一数据源类型和目标数据平台的第二数据源类型；根据第一数据源类型和第二数据源类型确定源数据平台和目标数据平台之间的平台映射关系；数据同步过程中获取源数据平台的第一同步数据和目标数据平台的第二同步数据，根据平台映射关系将第一同步数据和第二同步数据转换成同一类型的数据，根据预先确定的数据检查项对转换后的第一同步数据和转换后的第二同步数据进行检查，输出检查结果。本发明的技术方案提高了跨平台同步数据时数据质量检查的准确性，能够及时发现数据采集同步过程中的异常数据。

技术领域

本发明涉及数据检测技术领域，具体而言，涉及跨平台同步数据的数据质量检查方法、装置及存储介质。

背景技术

随着互联网和云计算等的蓬勃发展，数据量呈爆发式增长，大数据环境下各种数据的来源和数据的类型丰富多样，使得在不同数据平台下的进行数据的采集同步时，存在很多的差异和不确定性。为了保证数据采集同步的一致性，需要对数据采集同步过程中的数据进行数据质量检查。

但是目前的数据质量检查方法常对单个平台的数据进行检查，用于对跨平台的同步数据进行数据质量检查时准确性较差。

发明内容

本发明解决的问题是如何提高跨平台同步数据的数据质量检查的准确性。

为解决上述问题，本发明提供一种跨平台同步数据的数据质量检查方法、装置及存储介质。

第一方面，本发明提供了一种跨平台同步数据的数据质量检查方法，包括：

获取源数据平台的第一数据源类型和目标数据平台的第二数据源类型；

根据所述第一数据源类型和所述第二数据源类型确定所述源数据平台和所述目标数据平台之间的平台映射关系；

根据所述平台映射关系进行数据同步，同步过程中获取所述源数据平台的第一同步数据和所述目标数据平台的第二同步数据，并根据所述平台映射关系将所述第一同步数据和所述第二同步数据转换成同一类型的数据，获得转换后的第一同步数据和转换后的第二同步数据；

根据预先确定的数据检查项对所述转换后的第一同步数据和所述转换后的第二同步数据进行检查，输出检查结果。

可选地，所述数据检查项包括完整性检查项、数据准确性检查项、数据及时性检查项和数据一致性检查项中的至少一种。

可选地，所述同步过程中获取所述源数据平台的第一同步数据和所述目标数据平台的第二同步数据包括：

获取同步过程中的同步日志，根据所述同步日志设置抽样数据表；

根据所述抽样数据表在所述源数据平台中随机提取所述第一同步数据，并在所述目标数据平台中提取对应的所述第二同步数据，将所述第一同步数据和所述第二同步数据缓存至中间表。

可选地，所述根据预先确定的数据检查项对所述转换后的第一同步数据和所述转换后的第二同步数据进行检查包括：

根据所述数据检查项配置SQL语句，采用所述SQL语句对所述转换后的第一同步数据和所述转换后的第二同步数据进行比对检查。

可选地，所述方法还包括：

当无法获取数据同步过程中所述源数据平台的所述第一同步数据时或同步结束后，读取所述同步日志中记录的同步日志数据；

将所述同步日志数据和所述第二同步数据转换成同一类型的数据，获得转换后的同步日志数据和转换后的第二同步数据；

根据所述数据检查项对所述转换后的同步日志数据和所述转换后的第二同步数据进行检查，输出检查结果。

可选地，所述输出检查结果之后还包括：