[发明专利]用于处理数据的方法和装置

说明书

本申请实施例公开了用于处理数据的方法和装置。该方法的一具体实施方式包括：从流式计算系统中数据流流至的目标数据处理节点的上游数据处理节点获取待处理数据和待处理数据的标识，流式计算系统包括用于对数据流进行处理的数据处理节点集合，数据流从数据处理节点集合中的、作为入口的数据处理节点流入并在流经数据处理节点集合中的至少一个数据处理节点之后流出数据流系统，目标数据处理节点包括执行流式计算系统的用户提交的表征数据处理逻辑的程序段的执行单元；向执行单元发送待处理数据和待处理数据的标识；获取执行单元运行所生成的与待处理数据对应的处理结果数据以及处理结果数据的标识。该实施方式提高了数据处理效率。

技术领域

本申请实施例涉及计算机技术领域，尤其涉及用于处理数据的方法和装置。

背景技术

流式计算广泛应用于信息流、搜索建库、检索计费等大型分布式计算场景中。流式计算是一种类似流水线式的数据处理模式，流式计算来自于一个理念：发生一个事件就立即进行一次数据处理，而不是将数据缓存起来批量处理。

现有的流式计算系统，如Storm(一个分布式的、容错的实时计算系统)中，用户提交的作业和Storm平台之间基于JSON(JavaScript Object Notation,JS对象简谱)进行数据交换，数据交换协议复杂，并且要求在用户理解Storm及JSON后，才能使用该流式计算系统进行数据处理。

发明内容

本申请实施例提出了用于处理数据的方法和装置。

第一方面，本申请实施例提供了一种用于处理数据的方法，该方法包括：从流式计算系统中数据流流至的目标数据处理节点的上游数据处理节点获取待处理数据和待处理数据的标识，流式计算系统包括用于对数据流进行处理的数据处理节点集合，数据流从数据处理节点集合中的、作为入口的数据处理节点流入并在流经数据处理节点集合中的至少一个数据处理节点之后流出数据流系统，目标数据处理节点包括执行流式计算系统的用户提交的表征数据处理逻辑的程序段的执行单元；向执行单元发送待处理数据和待处理数据的标识；获取执行单元运行所生成的与待处理数据对应的处理结果数据以及处理结果数据的标识。

在一些实施例中，获取执行单元运行所生成的与待处理数据对应的处理结果数据之后，方法还包括：持久化处理结果数据和处理结果数据的标识；向目标数据处理节点的下游数据处理节点发送处理结果数据和处理结果数据的标识；响应于获取到指示处理结果数据被处理完成的指示信息，清除持久化的处理结果数据和处理结果数据的标识。

在一些实施例中，向目标数据处理节点的下游数据处理节点发送处理结果数据和处理结果数据的标识之后，方法还包括：响应于获取到指示处理结果数据处理失败的指示信息，向目标数据处理节点的下游数据处理节点重放持久化的处理结果数据和处理结果数据的标识。

在一些实施例中，向执行单元发送待处理数据和待处理数据的标识，包括：通过进程管道向执行单元发送待处理数据和待处理数据的标识。

在一些实施例中，向执行单元发送待处理数据和待处理数据的标识，包括：按照预设协议向执行单元发送待处理数据和待处理数据的标识，预设协议中规定有向目标数据处理节点发送的行数据所包括的字段以及字段之间使用的分隔符，字段包括数据的标识、数据的关键字、数据的值以及用于确定数据是否被处理完成的标签。

在一些实施例中，方法还包括：响应于获取到包括目标程序段的标识的执行请求，创建执行单元以执行目标程序段。

在一些实施例中，流式计算系统中数据处理节点的拓扑关系通过预先设置的配置文件描述，配置文件包括可扩展标记语言配置文件；以及方法还包括：基于配置文件生成并展现流式计算系统的拓扑图。