[发明专利]一种分布式数据流处理方法及装置

权利要求书

1.一种分布式数据流处理方法，其特征在于，该方法包括：

第一节点根据需要分配给下一跳工作节点的数据流的键值，确定第二节点为处理所述键值对应的数据流的下一跳工作节点；

所述第一节点在确定所述第二节点满足设定的负载迁移条件后，将所述需要分配给下一跳工作节点的数据流从所述第二节点迁移至第三节点进行处理，并指示所述第二节点和第三节点同步所述键值对应的数据流的状态信息；

其中，所述第二节点和第三节点属于所述第一节点的下一跳工作节点集合，所述第三节点的累计负载小于所述第二节点的累计负载；

所述第一节点在确定所述第二节点满足设定的负载迁移条件之前，还包括：

所述第一节点在接收到管理各工作节点的协调器发送的指示所述第二节点过载的信息后，调整设定的所述负载迁移条件，以使所述第二节点满足所述负载迁移条件。

2.如权利要求1所述的方法，其特征在于，所述第三节点为当前所述第一节点的下一跳工作节点集合中具有最小累计负载的工作节点。

3.如权利要求1所述的方法，其特征在于，所述设定的负载迁移条件包括：

所述第二节点的累计负载超过设定阈值；和/或，

所述第二节点的累计负载与第三节点的累计负载的比值和/或差值超过设定阈值。

4.如权利要求2所述的方法，其特征在于，所述设定的负载迁移条件包括：

所述第二节点的累计负载超过设定阈值；和/或，

所述第二节点的累计负载与第三节点的累计负载的比值和/或差值超过设定阈值。

5.如权利要求3所述的方法，其特征在于，所述设定的负载迁移条件还包括：

当前时间与所述第一节点最近一次进行数据流迁移处理的时间的时间间隔不小于设定阈值。

6.如权利要求4所述的方法，其特征在于，所述设定的负载迁移条件还包括：

当前时间与所述第一节点最近一次进行数据流迁移处理的时间的时间间隔不小于设定阈值。

7.如权利要求1～6任一所述的方法，其特征在于，所述第一节点根据以下公式确定设定时间段内所述第一节点的任意一个下一跳工作节点的累计负载W：

W＝c×W′+(1-c)×y；

其中，y为所述第一节点在所述设定时间段内分配给所述任意一个下一跳工作节点的负载，W′为所述任意一个下一跳工作节点在所述设定时间段的前一个时间段结束时的累计负载，c为常数，且0<c<1。

8.如权利要求1～6任一所述的方法，其特征在于，所述第一节点指示所述第二节点和第三节点同步所述键值对应的数据流的状态信息，包括：

所述第一节点向所述第二节点发送包含所述键值的状态信息迁出指示，以及，向所述第三节点发送包含所述键值的状态信息迁入指示；

其中，所述状态信息迁出指示用于指示所述第二节点将本地生成的所述键值对应的数据流的第一状态信息发送给管理各工作节点的协调器；所述状态信息迁入指示用于指示所述第三节点从管理各工作节点的协调器中获取所述键值对应的数据流的第一状态信息，并将获取的所述第一状态信息与本地生成的对应所述键值的数据流的第二状态信息进行合并。

9.如权利要求7所述的方法，其特征在于，所述第一节点指示所述第二节点和第三节点同步所述键值对应的数据流的状态信息，包括：

所述第一节点向所述第二节点发送包含所述键值的状态信息迁出指示，以及，向所述第三节点发送包含所述键值的状态信息迁入指示；

其中，所述状态信息迁出指示用于指示所述第二节点将本地生成的所述键值对应的数据流的第一状态信息发送给管理各工作节点的协调器；所述状态信息迁入指示用于指示所述第三节点从管理各工作节点的协调器中获取所述键值对应的数据流的第一状态信息，并将获取的所述第一状态信息与本地生成的对应所述键值的数据流的第二状态信息进行合并。