[发明专利]基于流计算的数据处理方法、装置及电子设备

权利要求书

1.一种基于流计算的数据处理方法，包括：

响应于流计算中至少一个第一算子出现运行错误，确定所述第一算子的输入数据中未计算完成的第一数据，生成能够标识所述第一数据的第一标识；

获取预先保存的所述流计算的日志文件，基于所述日志文件初始化所述第一算子的数据；

构建所述第一算子与相邻上游算子，以及所述第一算子与相邻下游算子之间的数据连接；

向所述相邻上游算子发送所述第一标识，使所述相邻上游算子至少向所述第一算子重新发送所述第一数据，以使所述第一算子基于所述第一数据进行计算并更新数据。

2.根据权利要求1所述的方法，其中，所述确定所述第一算子的输入数据中未计算完成的第一数据，生成用于标识所述第一数据的第一标识，包括：

确定所述第一算子的第一映射关系，其中，所述第一映射关系包括所述第一算子分别与所述相邻上游算子和所述相邻下游算子的第一关联关系，和/或所述第一算子的输入数据和输出数据的第二关联关系；

确定所述第一算子在第一时段的输入数据和输出数据；其中，所述第一时段包括保存所述日志文件至所述第一算子出现运行错误之间的时段；

基于所述第一映射关系和所述第一算子在所述第一时段的输出数据，确定所述第一算子在所述第一时段的输入数据中未计算完成的所述第一数据，以及已计算完成的第二数据；

生成用于标识所述第一数据的所述第一标识，或生成通过标识所述第二数据以对所述第一数据进行标识的所述第一标识。

3.根据权利要求2所述的方法，其中，所述确定所述第一算子在第一时段的输入数据和输出数据，包括：

获取第二标识，其中，所述第二标识用于标识所述相邻上游算子在所述第一时段输出的第三数据；

基于所述第二标识确定所述第一算子在第一时段的输入数据；

获取第三标识，其中，所述第三标识用于标识所述相邻下游算子在所述第一时段输入的第四数据；

基于所述第三标识确定所述第一算子在第一时段的输出数据。

4.根据权利要求3所述的方法，其中，所述向所述相邻上游算子发送所述第一标识，使所述相邻上游算子至少向所述第一算子重新发送所述第一数据，以使所述第一算子基于所述第一数据进行计算并更新数据，包括：

向所述相邻上游算子发送所述第一标识，使所述相邻上游算子基于所述第一标识对所述第三数据中包含的所述第一数据和/或所述第二数据进行标识；

控制所述相邻上游算子向所述第一算子发送标识后的所述第三数据；

控制所述第一算子对所述第二数据进行计算，禁止向所述相邻下游算子输出数据；

控制所述第一算子对所述第一数据进行计算，向所述相邻下游算子输出数据。

5.根据权利要求3所述的方法，其中，所述向所述相邻上游算子发送所述第一标识，使所述相邻上游算子至少向所述第一算子重新发送所述第一数据，以使所述第一算子基于所述第一数据进行计算并更新数据，包括：

向所述相邻上游算子发送所述第一标识，使所述相邻上游算子基于所述第一标识从所述第三数据中提取所述第一数据；

控制所述相邻上游算子向所述第一算子重新发送所述第一数据；

控制所述第一算子对所述第一数据进行计算，并向所述相邻下游算子输出数据。

6.根据权利要求2所述的方法，其中，所述确定所述第一算子的第一映射关系，包括：

基于所述流计算的逻辑执行图和/或物理执行图确定所述第一算子的第一映射关系。

7.根据权利要求1所述的方法，其中，所述方法还包括：

响应于流计算中至少一个第一算子出现运行错误；

切断所述第一算子与所述相邻上游算子的数据连接，以及所述第一算子与所述相邻下游算子的数据连接；和/或

清空所述相邻上游算子的数据发送队列和所述相邻下游算子的数据接收队列；和/或

将所述相邻上游算子和所述相邻下游算子从第一模式切换至第二模式；响应于所述第一算子计算完成所述第一数据，将所述相邻上游算子、所述第一算子和所述相邻下游算子从所述第二模式切换至所述第一模式。