[发明专利]一种数据处理方法、计算机设备、存储介质

说明书

本申请实施例公开了一种数据处理方法和装置。所述方法包括：获取待处理数据，根据待处理数据携带的处理流程信息确定处理节点，来对待处理数据进行处理，使得处理节点的流程定义不再需要预先部署在各个处理节点上或处理节点组成的处理系统上，打破了各个处理节点只能为预先部署的一种处理流程提供处理的限制，不同的待处理数据可以携带不同的处理流程信息，无须重新进行部署，就可以灵活地实时变更处理流程，各个处理节点实现了同时为多种处理流程进行处理，对于各个处理节点的扩容或缩量，不再仅对预先部署的一种处理流程有效，而可以对多种处理流程统一生效，提高资源的利用效率。

技术领域

本申请涉及数据处理技术领域，具体涉及一种数据处理方法、一种计算机设备、一种计算机可读存储介质。

背景技术

流式计算是不同于批量计算的一种计算方式，流式计算更加强调计算数据流和低时延。在流式计算中，无法确定数据的到来时刻和到来顺序，不同于批量计算等待数据集成全部就绪后才启动计算处理，流式计算是一种常驻计算服务，一旦启动将一直处于等待事件触发的状态，一旦有小批量数据进入流式数据存储，处理节点立刻处理并迅速得到结果。

目前的流式计算框架中，流式计算系统可以对待处理数据执行多种处理，需要有多种处理节点，每种处理节点可以由多个服务器组成，流式计算流程需要由多种处理节点来处理待处理数据。

申请人经研究发现，对于流式计算流程来说，通常必须预先设计流式计算流程的路由定义(即计算逻辑)，根据流式计算流程的路由定义，来部署流式计算系统。在整个运行期间，流式计算的路由定义不可更改。这样的流式计算系统存在的缺点是流程的路由定义是预先部署确定的，一旦流程需要发生变化，就要重新部署整个系统，无法灵活变更。为一种流程部署的服务节点只能作为该流程的计算资源，不能被其他流程所共享，导致对于该流程的服务节点进行扩容或缩量，仅对该流式计算流程有效，对于其他流程则无法生效。

发明内容

鉴于上述问题，提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的数据处理方法、以及计算机设备、计算机可读存储介质。

依据本申请的一个方面，提供了一种数据处理方法，包括：获取待处理数据；

根据所述待处理数据携带的处理流程信息，确定处理节点；

将所述待处理数据发送到处理节点进行处理。

可选地，所述根据所述待处理数据携带的处理流程信息，确定处理节点包括：

根据所述处理流程信息包括的处理结果与处理节点的关系信息，查找当前处理节点产生的处理结果对应的下一个处理节点。

可选地，所述处理节点包括第一处理节点，所述根据所述待处理数据携带的处理流程信息，确定处理节点包括：

根据所述处理流程信息，确定第一处理节点；

所述将所述待处理数据发送到处理节点进行处理包括：

将所述待处理数据发送给第一处理节点；

由所述第一处理节点对待处理数据进行处理，得到第一处理结果。

可选地，所述处理流程信息包括第一处理结果与第二处理节点的关系信息，所述处理节点包括第二处理节点，所述根据所述待处理数据携带的处理流程信息，确定处理节点还包括：

根据所述处理流程信息和第一处理结果，确定第二处理节点；

所述将所述待处理数据发送到处理节点进行处理还包括：

将所述待处理数据发送给第二处理节点；

由所述第二处理节点对待处理数据进行处理，得到第二处理结果。