[发明专利]一种保障数据一致性的处理方法、装置及服务器

说明书

本说明书实施例公开了一种保障数据一致性的处理方法、装置及服务器。所述方法包括：记录数据源的每个队列中数据处理的事件时间。当出现异常时，数据源的所有队列可以回滚到最近一次处理成功的状态，可以通过事件时间将数据源的各队列回退并对齐到一个一致的处理成功的监控计算窗口时间节点。

技术领域

本说明书实施例属于计算机数据处理技术领域，尤其涉及一种保障数据一致性的处理方法、装置及服务器。

背景技术

随着互联网的发展，许多互联网系统所涉及的业务也越来越多，系统处理的业务数据量剧增。目前，一些业务系统通常会相应的配置有业务监控系统，可以实时监控业务系统的异常情况。

业务监控系统可以监控业务数据异常，例如交易下跌等，作为一种告警、分析系统的底层基础数据处理，任何的数据丢失或者数据重复都会给告警，分析产生影响，所以数据的一致性十分重要，对数据一致性要求非常高。为保障实时监控系统中数据的一致性，常用的一种方式包括Flink的分布式快照算法，该算法采用检查点机制+可部分重发的数据源的方式达到一致性功能。Flink的分布式快照算法通过批次的方式保障数据一致性，这种算法需要高可用的状态存储引擎(例如hbase或者hdfs，hbase和hdfs为一种数据存储服务)存储快照数据，在异常时，源头会回滚到上一次状态，要保证全局一致性，merger(状态数据节点)的存储也要回滚到上一次一致性状态，这里的存储状态必须是高可用的，需要较高的技术和硬件实现成本，并且面对类似监控这样的海量数据场景，推广难度也较大。因此，业内需要一种适合于监控场景并且成功更低的数据一致性保障方案。

发明内容

本说明书实施例目的在于提供一种保障数据一致性的处理方法、装置及服务器，可以适用于业务数据监控场景中保障数据处理的一致性，降低对高可用状态的存储引擎的依赖，降低成本，提高系统稳定性和吞吐量。

本说明书实施例提供的一种保障数据一致性的处理方法、装置及服务器是包括如下的方式实现的：

一种保障数据一致性的处理方法，所述方法包括：

记录数据源节点的队列的事件时间，所述事件时间包括队列从所述数据源节点读取数据的时间；

若接收到数据处理失败的触发消息，则基于所述事件时间确定所述数据源节点的队列上一次数据处理成功的监控计算窗口时间节点；

以所述监控计算窗口时间节点作为数据源节点的队列的统一回退时间点重新读取数据源的数据。

一种保障数据一致性的处理装置，所述装置包括：

事件时间记录模块，用于记录数据源节点的队列的事件时间，所述事件时间包括队列从所述数据源节点读取数据的时间；

重读取时间确定模块，用于在接收到数据处理失败的触发消息时，基于所述事件时间确定所述队列在上一次数据处理成功的监控计算窗口时间节点；

数据读取模块，用于以所述监控计算窗口时间节点作为数据源节点的队列的统一回退时间点重新读取数据源的数据。

一种保障数据一致性的处理装置，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现：

记录数据源节点的队列的事件时间，所述事件时间包括队列从所述数据源节点读取数据的时间；

若接收到数据处理失败的触发消息，则基于所述事件时间确定所述队列在上一次数据处理成功的监控计算窗口时间节点；

以所述监控计算窗口时间节点作为数据源节点的队列的统一回退时间点重新读取数据源的数据。

一种服务器，包括至少一个处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现：