[发明专利]一种保障数据一致性的处理方法、装置及服务器

权利要求书

1.一种保障数据一致性的处理方法，所述方法包括：

记录数据源节点的队列的事件时间，所述事件时间包括队列从所述数据源节点读取数据的时间；

若接收到数据处理失败的触发消息，则基于所述事件时间确定所述数据源节点的队列上一次数据处理成功的监控计算窗口时间节点；

以所述监控计算窗口时间节点作为数据源节点的队列的统一回退时间点重新读取数据源的数据，

其中，基于所述事件时间确定所述数据源节点的队列上一次数据处理成功的监控计算窗口时间节点包括：

获取所述数据源中队列上一次数据处理成功的时间点，对所述时间点中时间最早的时间点进行监控计算窗口时间单位级别的格式化，得到所述上一次数据处理成功的监控计算窗口时间节点，

或者，获取所述数据源中队列上一次数据处理成功的时间点，根据所述时间点中队列的偏移量确定上一个监控计算窗口的时间节点。

2.如权利要求1所述的一种保障数据一致性的处理方法，重新读取所述数据源的数据之后，所述方法还包括：

以所述统一回退时间点对所述重新读取数据源节点的数据进行过滤，删除所述统一回退时间点之前的数据。

3.如权利要求2中所述的一种保障数据一致性的处理方法，所述方法还包括：

本地持久化当前监控计算窗口内处理成功的数据的状态数据；以及，

在重新读取所述数据源的数据之后，删除本地持久化的状态数据，并本地持久化所述重新读取数据源的数据被处理的状态数据。

4.如权利要求3中所述的一种保障数据一致性的处理方法，使用磁盘或内存数据存储所述状态数据。

5.一种保障数据一致性的处理装置，所述装置包括：

事件时间记录模块，用于记录数据源节点的队列的事件时间，所述事件时间包括队列从所述数据源节点读取数据的时间；

重读取时间确定模块，用于在接收到数据处理失败的触发消息时，基于所述事件时间确定所述队列在上一次数据处理成功的监控计算窗口时间节点；

数据读取模块，用于以所述监控计算窗口时间节点作为数据源节点的队列的统一回退时间点重新读取数据源的数据；

其中，所述重读取时间确定模块包括下述之一：

第一计算模块，用于获取所述数据源中队列上一次数据处理成功的时间点，根据所述队列的偏移量确定上一个监控计算窗口的时间节点；

第二计算模块，用于获取所述数据源中队列上一次数据处理成功的时间点，对所述时间点中时间最早的时间点进行所述监控计算窗口时间单位级别的格式化，得到所述上一次数据处理成功的监控计算窗口时间节点。

6.如权利要求5所述的一种保障数据一致性的处理装置，所述装置还包括：

过滤模块，用于以所述统一回退时间点对所述重新读取数据源节点的数据进行过滤，删除所述统一回退时间点之前的数据。

7.如权利要求6所述的一种保障数据一致性的处理装置，所述装置还包括：

存储模块，用于本地持久化当前监控计算窗口内处理成功的数据的状态数据；以及，

用于在重新读取所述数据源的数据之后，删除本地持久化的状态数据，并本地持久化所述重新读取数据源的数据被处理的状态数据。

8.如权利要求7所述的一种保障数据一致性的处理装置，所述存储模块包括下述中的任意一种存储介质：

磁盘，内存。