[发明专利]数据一致性确定方法、装置、设备及存储介质

权利要求书

1.一种数据一致性确定方法，其特征在于，包括：

从第一数据源获取源数据；

基于所述源数据的数据标识，从第二数据源获取目标数据，所述目标数据与所述源数据具有相同的数据标识；

根据预先配置的所述源数据与所述目标数据之间的字段映射关系，确定所述源数据以及所述目标数据中的待比对字段是否一致。

2.根据权利要求1所述的方法，其特征在于，所述确定所述源数据以及所述目标数据中的待比对字段是否一致，包括：

根据所述第一数据源以及所述第二数据源，从预先配置的多个字段映射关系中获取所述源数据与所述目标数据之间的所述字段映射关系；

基于所述字段映射关系，对所述源数据以及所述目标数据中的待比对字段的值进行比对；

若所述源数据以及所述目标数据的待比对字段的值一致，则确定所述源数据以及所述目标数据中的待比对字段一致。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

若所述源数据以及所述目标数据中的待比对字段的值不一致，则确定是否符合延迟重试条件，所述延迟重试条件包括重试时间在预定时间范围内或者重试次数在预定次数阈值内；

若符合所述延迟重试条件，则从所述第一数据源重新获取所述源数据，并从所述第二数据源重新获取所述目标数据；

基于所述字段映射关系，确定重新获取到的所述源数据以及所述目标数据中的待比对字段的值是否一致。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

在从所述第一数据源重新获取所述源数据之前，生成延迟重试消息，所述延迟重试消息包括所述源数据的数据标识，

所述从所述第一数据源重新获取所述源数据，并从所述第二数据源重新获取所述目标数据，包括：

若监听到所述延迟重试消息，则从所述延迟重试消息中获取所述数据标识；

基于所述数据标识，从所述第一数据源重新获取所述源数据，从所述第二数据源重新获取所述目标数据。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

将所述延迟重试消息放入重试消息队列中；

若监听到所述源数据发生了变化，则基于所述数据标识确定所述重试消息队列中是否已存在所述源数据；

若已存在所述源数据，则通过变化后的所述源数据更新所述重试消息队列中已存在的所述源数据。

6.根据权利要求1至5中任一项所述的方法，其特征在于，所述从第一数据源获取源数据，包括：

监听所述第一数据源的二进制日志binlog消息；

基于监听到的所述binlog消息中的所述数据标识，从所述第一数据源中获取所述源数据；

所述基于所述源数据的数据标识，从第二数据源获取目标数据，包括：

基于监听到的所述binlog消息中的所述数据标识，确定与所述第一数据源对应的数据抽取任务；

基于所述数据标识以及所述数据抽取任务从所述第二数据源获取目标数据。

7.根据权利要求1至5中任一项所述的方法，其特征在于，所述第一数据源与所述第二数据源为同一类型的数据源，所述从第一数据源获取源数据，包括：

从所述第一数据源批量获取多条源数据。

8.根据权利要求1至5中任一项所述的方法，其特征在于，所述第一数据源为数据文件，所述从第一数据源获取源数据，包括：

从所述数据文件中读取行数据；

将读取的行数据进行封装，将封装后的行数据作为所述源数据。

9.根据权利要求8所述的方法，其特征在于，所述方法还包括：

若所述数据文件的大小大于预定阈值，则对所述数据文件进行分片；

所述从所述数据文件中读取行数据，包括：

通过分片粒度并发读取所述数据文件的各个分片的行数据。