[发明专利]流式计算系统的数据处理方法和装置

权利要求书

1.一种流式计算系统的数据处理方法，包括：

获取流式计算系统的下游处理系统返回的确认消息，所述确认消息包括用于指示所述下游处理系统已完成处理的数据的标识，所述已完成处理的数据的标识包括所述已完成处理的数据所在的下游数据分片的标识、所述已完成处理的数据所在的上游数据分片的标识以及所述已完成处理的数据在所述上游数据分片中的位置标识；

在所述流式计算系统中定位出所述已完成处理的数据所在的下游数据分片的标识对应的数据结构，并且在所述数据结构中根据所述已完成处理的数据所在的上游数据分片的标识查找到对应的上游数据分片；

遍历删除查找到的上游数据分片中位置标识不大于所述已完成处理的数据在所述上游数据分片中的位置标识的数据。

2.根据权利要求1所述的方法，其中，所述确认消息是按照如下方式生成的：

响应于接收到所述下游处理系统完成数据处理后生成的数据清理请求，基于已完成处理的数据的标识生成所述确认消息。

3.根据权利要求1所述的方法，其中，所述确认消息是按照如下方式生成的：

响应于检测到所述下游处理系统异常重启，基于所述下游处理系统中记录的数据处理进度确定已完成处理的数据的标识，基于所述已完成处理的数据的标识生成所述确认消息。

4.根据权利要求1所述的方法，其中，所述方法还包括：

响应于检测到所述流式计算系统发生异常重启，读取预先存储的系统状态并从系统状态的上下文信息中确定出与发生故障时正在处理数据的预设处理单元绑定的下游数据分片的标识，恢复与预设处理单元绑定的下游数据分片标识所标识的数据结构，其中，所述系统状态记录发生故障时正在处理数据的预设处理单元绑定的下游数据分片的标识。

5.根据权利要求1所述的方法，其中，所述方法还包括：

响应于检测到流式计算系统发生异常重启，对待传入流式计算系统的数据所携带的位置标识与已传入流式计算系统的数据的位置标识进行比较，将待传入流式计算系统的数据中所携带的位置标识大于已传入流式计算系统的数据的位置标识的待传入流式计算系统的数据传入流式计算系统，其中，所述待传入流式计算系统的数据所携带的位置标识用于指示待传入流式计算系统的数据在其所属数据分片中的位置。

6.一种流式计算系统的数据处理装置，包括：

获取单元，被配置为获取流式计算系统的下游处理系统返回的确认消息，所述确认消息包括用于指示所述下游处理系统已完成处理的数据的标识，所述已完成处理的数据的标识包括所述已完成处理的数据所在的下游数据分片的标识、所述已完成处理的数据所在的上游数据分片的标识以及所述已完成处理的数据在所述上游数据分片中的位置标识；

查找单元，被配置为在所述流式计算系统中定位出所述已完成处理的数据所在的下游数据分片的标识对应的数据结构，并且在所述数据结构中根据所述已完成处理的数据所在的上游数据分片的标识查找到对应的上游数据分片；

删除单元，被配置为遍历删除查找到的上游数据分片中位置标识不大于所述已完成处理的数据在所述上游数据分片中的位置标识的数据。

7.根据权利要求6所述的装置，其中，所述确认消息是按照如下方式生成的：

响应于接收到所述下游处理系统完成数据处理后生成的数据清理请求，基于已完成处理的数据的标识生成所述确认消息。

8.根据权利要求6所述的装置，其中，所述确认消息是按照如下方式生成的：

响应于检测到所述下游处理系统异常重启，基于所述下游处理系统中记录的数据处理进度确定已完成处理的数据的标识，基于所述已完成处理的数据的标识生成所述确认消息。