[发明专利]流式计算系统中计算节点的故障处理

权利要求书

1.一种用于流式计算系统中的故障处理方法，其中，在一个计算节点，该方法包括以下步骤：

-记录来自上游计算节点的各原始数据的到达顺序；

-将所述各原始数据按照预定的周期进行持久化操作；

-当发生故障而重启后，按照所记录的到达顺序从经持久化操作的原始数据和/或所述上游计算节点恢复内存中的待计算数据，并将所恢复的待计算数据按照其之前的到达顺序进行重放和计算；

-将每条计算完毕的结果数据按照故障前上一持久化操作周期的结果数据的偏移量继续编码并发送至下一节点；

其中，所述按照所记录的到达顺序从经持久化操作的原始数据和/或所述上游计算节点恢复内存中的待计算数据，包括：首先获取上一持久化操作周期的原始数据，并比较所获取的原始数据的到达顺序与所记录的所述各原始数据的到达顺序，以确定是否尚有丢失数据，如是，从所述丢失数据所来自的上游计算节点获取所述丢失数据，从而恢复故障前内存中的待计算数据。

2.根据权利要求1所述的方法，其中，根据故障前上一持久化操作周期的结果数据的偏移量进度信息，确定重启后第一条计算完毕的结果数据的编码偏移量。

3.根据权利要求1至2中任一项所述的方法，其中，所述各原始数据的持久化操作通过checkpoint机制来按照预定的周期执行。

4.根据权利要求3所述的方法，其中，所述各原始数据通过checkpoint机制被存储于外部的分布式存储系统，从而实现持久化操作。

5.根据权利要求3所述的方法，其中，当发生故障而重启后，首先从checkpoint点恢复上一周期的原始数据，并比较所获取的原始数据的到达顺序与所记录的所述各原始数据的到达顺序，以确定是否尚有丢失数据，如是，从所述丢失数据所来自的上游计算节点获取所述丢失数据，从而恢复故障前内存中的待计算数据。

6.根据权利要求3所述的方法，其中，当发生故障而重启后，从checkpoint点恢复上一周期的结果数据的偏移量进度信息。

7.根据权利要求1所述的方法，其中，所述下一节点包括当前计算节点的下级计算节点或外部传输系统。

8.一种用于流式计算系统中的故障处理装置，其中，故障处理装置被布置于所述流式计算系统中的一个计算节点中，该故障处理装置包括：

用于记录来自上游计算节点的各原始数据的到达顺序的装置；

用于将所述各原始数据按照预定的周期进行持久化操作的装置；

用于当发生故障而重启后，按照所记录的到达顺序从经持久化操作的原始数据和/或所述上游计算节点恢复内存中的待计算数据，并将所恢复的待计算数据按照其之前的到达顺序进行重放和计算的装置；

用于将每条计算完毕的结果数据按照故障前上一持久化操作周期的结果数据的偏移量继续编码并发送至下一节点的装置；

其中，所述按照所记录的到达顺序从经持久化操作的原始数据和/或所述上游计算节点恢复内存中的待计算数据，包括：首先获取上一持久化操作周期的原始数据，并比较所获取的原始数据的到达顺序与所记录的所述各原始数据的到达顺序，以确定是否尚有丢失数据，如是，从所述丢失数据所来自的上游计算节点获取所述丢失数据，从而恢复故障前内存中的待计算数据。

9.根据权利要求8所述的装置，其中，根据故障前上一持久化操作周期的结果数据的偏移量进度信息，确定重启后第一条计算完毕的结果数据的编码偏移量。

10.根据权利要求8至9中任一项所述的装置，其中，所述各原始数据的持久化操作通过checkpoint机制来按照预定的周期执行。

11.根据权利要求10所述的装置，其中，所述各原始数据通过checkpoint机制被存储于外部的分布式存储系统，从而实现持久化操作。