[发明专利]数据核对方法及装置

说明书

本发明提供一种数据核对方法及装置，方法包括：获取主机的表和表中更新的字段；对更新的所述字段进行排列，对排列后的字段进行赋值得到更新的记录值；基于所述记录值的索引字段分别查询主机的表中该索引字段对应的记录值和平台的表中该索引字段对应的记录值；根据所述主机的表中该索引字段对应的记录值和所述平台的表中该索引字段对应的记录值进行核对。本发明能够实现准实时核对，降低核对的复杂程度并且核对结果准确性高。

技术领域

本发明涉及自动化测试领域，具体涉及一种数据核对方法及装置。

背景技术

在主机与平台数据同步的过程中，通常会运用复制技术向KAFKA消息队列发送消息，然后解析消息并发送到分布式数据库，实现主机数据到平台数据的同步。测试人员需要验证同步到平台数据库表中每个字段与主机表中每个字段完全一致。主机与平台数据同步后，平台一般采用分布式数据库存储，通常会根据业务数据情况重新设计表结构，主机一张表在平台侧可能会拆成多张表，并且分布在不同数据库分区，平台表名、字段名、字段类型也有可能和主机表也不一致，核对复杂。

通常采用的验证方法是对主机表进行增删改触发复制，待数据同步后将主机表和平台表中记录导出进行每个字段的比对测试，但是存在如下难点：

1、自动化案例若采用insert操作，重复新增同一笔记录会报主键冲突，不适合回归测试，需要测试人员频繁修改造数。即使脚本设计数据清理后执行，仍然不能充分利用主机表中实际产生的业务数据来测试到数据字段值的多样性。

2、自动化案例若采用update多条记录或全表记录操作，如果数据量太大，由于复制到KAFKA后消费需要一定时间，需要等待完全同步后才能开展核对，不便于开展数据的准实时核对，如果此时有业务交易把主机表中一些记录进行了更新，会造成大量核对结果不一致。

3、自动化案例若采用update单条记录，由于触发复制的前提条件是主机表中记录发生实际变化，如果update表字段的更新值和原主机表里字段值一致，也不会触发复制。如果继续开展核对，也会造成大量核对结果不一致，同样需要测试人员频繁修改案例数据。并且，由于主机表名和平台表名、主机字段名和平台字段名都不一致，平台采用分布式存储，核对难度进一步加大，对测试技术要求高。

综上，现有的主机数据与平台数据验证的方法存在核对复杂度高，准确度低的问题。

发明内容

针对现有技术中的问题，本发明提供一种数据核对方法及装置，能够实现准实时核对，降低核对的复杂程度并且核对结果准确性高。

为解决上述技术问题，本发明提供以下技术方案：

第一方面，本发明提供一种数据核对方法，包括：

获取主机的表和表中更新的字段；

对更新的所述字段进行排列，对排列后的字段进行赋值得到更新的记录值；

基于所述记录值的索引字段分别查询主机的表中该索引字段对应的记录值和平台的表中该索引字段对应的记录值；

根据所述主机的表中该索引字段对应的记录值和所述平台的表中该索引字段对应的记录值进行核对。

进一步的，在所述基于所述记录值的索引字段分别查询主机的表中该索引字段对应的记录值和平台的表中该索引字段对应的记录值之后，还包括：

查询所述索引字段在平台的表的记录中对应字段的时间戳，若所述时间戳与主机当前时间戳的差值大于预设值，则对KAFKA消息队列进行检查。

进一步的，在所述基于所述记录值的索引字段分别查询主机的表中该索引字段对应的记录值和平台的表中该索引字段对应的记录值之后，还包括：

查询所述索引字段在平台的表的记录中对应字段的时间戳，若查询不到索引字段在平台的表的记录中对应字段的时间戳，则对KAFKA消息队列进行检查。