[发明专利]跨平台同步数据的数据质量检查方法、装置及存储介质

权利要求书

1.一种跨平台同步数据的数据质量检查方法，其特征在于，包括：

获取源数据平台的第一数据源类型和目标数据平台的第二数据源类型；

根据所述第一数据源类型和所述第二数据源类型确定所述源数据平台和所述目标数据平台之间的平台映射关系；

根据所述平台映射关系进行数据同步，同步过程中获取所述源数据平台的第一同步数据和所述目标数据平台的第二同步数据，并根据所述平台映射关系将所述第一同步数据和所述第二同步数据转换成同一类型的数据，获得转换后的第一同步数据和转换后的第二同步数据；

根据预先确定的数据检查项对所述转换后的第一同步数据和所述转换后的第二同步数据进行检查，输出检查结果。

2.根据权利要求1所述的跨平台同步数据的数据质量检查方法，其特征在于，所述数据检查项包括完整性检查项、数据准确性检查项、数据及时性检查项和数据一致性检查项中的至少一种。

3.根据权利要求1所述的跨平台同步数据的数据质量检查方法，其特征在于，所述同步过程中获取所述源数据平台的第一同步数据和所述目标数据平台的第二同步数据包括：

获取同步过程中的同步日志，根据所述同步日志设置抽样数据表；

根据所述抽样数据表在所述源数据平台中随机提取所述第一同步数据，并在所述目标数据平台中提取对应的所述第二同步数据，将所述第一同步数据和所述第二同步数据缓存至中间表。

4.根据权利要求3所述的跨平台同步数据的数据质量检查方法，其特征在于，所述根据预先确定的数据检查项对所述转换后的第一同步数据和所述转换后的第二同步数据进行检查包括：

根据所述数据检查项配置SQL语句，采用所述SQL语句对所述转换后第一同步数据和所述转换后的第二同步数据进行比对检查。

5.根据权利要求3所述的跨平台同步数据的数据质量检查方法，其特征在于，还包括：

当无法获取数据同步过程中所述源数据平台的所述第一同步数据时或同步结束后，读取所述同步日志中记录的同步日志数据；

将所述同步日志数据和所述第二同步数据转换成同一类型的数据，获得转换后的同步日志数据和转换后的第二同步数据；

根据所述数据检查项对所述转换后的同步日志数据和所述转换后的第二同步数据进行检查，输出检查结果。

6.根据权利要求5所述的跨平台同步数据的数据质量检查方法，其特征在于，所述输出检查结果之后还包括：

当所述检查结果显示有数据异常时，输出告警信号；

当所述检查结果无异常时，输出数据质量检查报告。

7.根据权利要求6所述的跨平台同步数据的数据质量检查方法，其特征在于，所述同步日志中包括数据表名、数据记录总数、主键字段、区分字段、分区字段值、同步开始时间、同步结束使劲按和同步状态标识中的至少一种；

所述抽样数据表包括数据表名、主键字段、主键值、抽样字段类型、抽样字段列中的至少一种。

8.一种跨平台同步数据的数据质量检查装置，其特征在于，包括：

获取模块，用于获取源数据平台的第一数据源类型和目标数据平台的第二数据源类型；

处理模块，用于根据所述第一数据源类型和所述第二数据源类型确定所述源数据平台和所述目标数据平台之间的平台映射关系；

同步模块，用于根据所述平台映射关系进行数据同步，同步过程中获取所述源数据平台的第一同步数据和所述目标数据平台的第二同步数据，并根据所述平台映射关系将所述第一同步数据和所述第二同步数据转换成同一类型的数据，获得转换后的第一同步数据和转换后的第二同步数据；

检查模块，用于根据预先确定的数据检查项对所述转换后的第一同步数据和所述转换后第二同步数据进行检查，输出检查结果。

9.一种跨平台同步数据的数据质量检查装置，其特征在于，包括存储器和处理器；

所述存储器，用于存储计算机程序；

所述处理器，用于当执行所述计算机程序时，实现如权利要求1至7任一项所述的跨平台同步数据的数据质量检查方法。

10.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如权利要求1至7任一项所述的跨平台同步数据的数据质量检查方法。