[发明专利]一种分布式数据流处理方法及装置

说明书

本发明涉及数据处理领域，尤其涉及一种分布式数据流处理方法及装置，用以解决分布式流处理技术无法对具有同一键值的数据流进行负载均衡处理的问题。本发明实施例的方法包括：第一节点根据需要分配给下一跳工作节点的数据流的键值，确定第二节点为处理所述键值对应的数据流的下一跳工作节点，在确定该第二节点满足设定的负载迁移条件后，将所述需要分配给下一跳工作节点的数据流从所述第二节点迁移至第三节点进行处理，并指示所述第二节点和第三节点同步所述键值对应的数据流的状态信息；采用上述方法，第一节点可以在确定下游的第二节点满足设定的负载迁移条件后，将第二节点负责处理的键值对应的数据流迁移至当前累计负载较小的第三节点进行处理，从而可以针对同一键值的数据流进行负载均衡处理。

技术领域

本发明涉及数据处理领域，尤其涉及一种分布式数据流处理方法及装置。

背景技术

数据流处理技术广泛应用在众多领域，比如金融管理、网络监视、通信数据管理、Web应用、传感器网络数据处理等。这些应用中有一个典型的特点:数据流处理量极大，具有相当高的突发性，当数据到达的速度超出系统的处理能力时，系统会出现过载并且性能下降。所以，负载管理均成为数据流处理中研究的热点与重点。

数据流处理技术包括集中式数据流处理技术和分布式数据流处理技术；在集中式数据流处理技术中，检测到系统发生超载时，会选择性地丢掉一些数据元组来保证系统的正常运行，显然，采用这种方式是以牺牲数据元组为代价，对系统性能影响较大。由于流数据源及应用本身存在分布式的特点，目前，分布式流处理技术成为流处理研究的热点，采用分布式流处理技术，可以将负载分布到各个处理节点，保持系统中各个节点之间的负载平衡。

在分布式流处理技术中，针对无状态对象，主要采用轮询方式将数据元组分配到相应的处理节点上，对无状态对象的处理过程属于一次性操作，不会保存任何状态信息，处理过程比较简单；针对有状态对象，通常将具有同样键值（Key）的数据流分配到同样的节点进行处理。

在实际网络中，流量的分布具有很大的倾斜性，对应同一键值的数据流有可能会贡献相当大的流量，这就需要对具有同一键值的数据流也进行负载均衡处理，而上述分布式流处理技术显然无法针对这种情况进行负载均衡处理。

发明内容

本发明实施例提供一种分布式数据流处理方法及装置，用以解决分布式流处理技术无法对具有同一键值的数据流进行负载均衡处理的问题。

第一方面，提供一种分布式数据流处理方法，包括：

第一节点根据需要分配给下一跳工作节点的数据流的键值，确定第二节点为处理所述键值对应的数据流的下一跳工作节点；

所述第一节点在确定所述第二节点满足设定的负载迁移条件后，将所述需要分配给下一跳工作节点的数据流从所述第二节点迁移至第三节点进行处理，并指示所述第二节点和第三节点同步所述键值对应的数据流的状态信息；

其中，所述第二节点和第三节点属于所述第一节点的下一跳工作节点集合，所述第三节点的累计负载小于所述第二节点的累计负载。

结合第一方面，在第一种可能的实现方式中，所述第三节点为当前所述第一节点的下一跳工作节点集合中具有最小累计负载的工作节点。

结合第一方面，或第一方面的第一种可能的实现方式中，在第二种可能的实现方式中，所述设定的负载迁移条件包括：

所述第二节点的累计负载超过设定阈值；和/或，

所述第二节点的累计负载与第三节点的累计负载的比值和/或差值超过设定阈值。

结合第一方面的第二种可能的实现方式，在第三种可能的实现方式中，所述设定的负载迁移条件还包括：

当前时间与所述第一节点最近一次进行数据流迁移处理的时间的时间间隔不小于设定阈值。