[发明专利]流式计算的增量持久化方法、装置及存储介质

权利要求书

1.一种流式计算的增量持久化方法，其特征在于，所述流式计算由多个节点进行，所述方法包括：

获取当前节点的新增数据，并将所述新增数据根据操作类型分为多个数据单元，所述新增数据包括当前节点接收到上一节点发送的数据后，对该数据进行处理所产生的中间数据和结果数据；

将所述多个数据单元存入存储系统；以及

根据所述操作类型对存入所述存储系统的所述多个数据单元进行合并，以获得所述当前节点的持久化数据；

所述操作类型包括插入和删除，所述数据单元包括数据内容，所述根据所述操作类型对所述数据单元进行合并，以获得所述当前节点的持久化数据，包括：

将所述插入类型的数据单元与所述删除类型的数据单元进行比对，以获取数据内容相同的所述插入类型的数据单元与所述删除类型的数据单元；

将所述数据内容相同的所述插入类型的数据单元与所述删除类型的数据单元进行删除，以获得所述当前节点的持久化数据。

2.如权利要求1所述的方法，其特征在于，在所述获得所述当前节点的持久化数据之后，还包括：

根据所述当前节点的持久化数据，对所述当前节点的计算状态进行恢复。

3.如权利要求2所述的方法，其特征在于，所述新增数据包括当前节点的输出结果数据、当前节点的用户状态修改数据、定时器数据中的一种或者多种。

4.如权利要求3所述的方法，其特征在于，所述将所述多个数据单元存入存储系统，包括：

将所述多个数据单元打包为数据块；

根据预设的传输大小阈值和传输时间阈值将多个所述数据块打包为数据组；

将所述数据组存入所述存储系统中当前节点所对应的服务器。

5.如权利要求4所述的方法，其特征在于，所述将所述数据组存入所述存储系统中当前节点所对应的服务器，包括：

获取所述数据组中所述数据单元的数据标识；

根据所述数据标识将所述数据组存入当前节点所对应的服务器。

6.如权利要求2所述的方法，其特征在于，所述根据所述当前节点的持久化数据，对所述当前节点的计算状态进行恢复，包括：

判断当前节点是否存在异常；

若所述当前节点存在异常，则在所述存储系统中查找所述当前节点的持久化数据；

根据查找的所述当前节点的持久化数据，将所述当前节点的计算状态恢复正常。

7.如权利要求6所述的方法，其特征在于，所述当前节点的持久化数据包括当前节点的用户状态修改数据，定时器数据中的一种或者两种，在所述将所述当前节点的计算状态恢复正常之后，还包括：

获取所述当前节点的上一节点的输出结果数据；

根据所述当前节点的上一节点的输出结果数据，计算所述当前节点的输出结果数据；

在所述存储系统中删除上一节点的输出结果数据；以及

将所述当前节点的输出结果数据传输给下一节点。

8.如权利要求7所述的方法，其特征在于，所述获取所述当前节点的上一节点的输出结果数据，包括：

从所述上一节点获取所述上一节点的输出结果数据，或者

从所述存储系统中获取所述上一节点的输出结果数据。