[发明专利]流处理单元的分配方法及装置

权利要求书

1.一种流处理单元的分配方法，其特征在于，所述方法包括：

获取各个计算节点上的各个流处理组件的并行度及资源使用率，任一流处理组件的并行度由所述流处理组件的最大输出速率和初始输出速率的比值确定；

根据所述流处理组件中任一流处理组件的并行度确定所述任一流处理组件包括的流处理单元的数量；

生成与所述流处理组件相对应的至少一个待分配的流处理单元，并将所述任一流处理组件的资源使用率确定为所述任一流处理组件相对应的任一流处理单元的资源使用率；

根据各个流处理组件所在计算节点的处理能力及各个待分配的流处理单元的资源使用率将所述各个待分配的流处理单元分配到对应的计算节点中。

2.根据权利要求1所述的方法，其特征在于，所述获取各个计算节点上的各个流处理组件的并行度及资源使用率，包括：

对于任一计算节点上的任一流处理组件，采用流测试组件对所述任一流处理组件的初始输出速率和最大输出速率进行测试，并记录所述任一流处理组件在初始输出速率时所述任一流处理组件对应的资源使用率和最大输出速率时所述任一流处理组件对应的资源使用率；

将所述任一流处理组件的最大输出速率和初始输出速率的比值确定为所述任一流处理组件的并行度，并根据所述任一流处理组件的并行度确定所述任一流处理组件的资源使用率。

3.根据权利要求1所述的方法，其特征在于，所述根据任一流处理组件的并行度确定所述任一流处理组件包括的流处理单元的数量，包括：

将所述任一流处理组件的并行度进行上取整，得到上取整值，并将所述上取整值作为所述任一流处理组件包括的流处理单元的数量。

4.根据权利要求1所述的方法，其特征在于，所述根据各个流处理组件所在计算节点的处理能力及各个待分配的流处理单元的资源使用率将所述各个待分配的流处理单元分配到对应的计算节点中，包括：

在各个流处理组件所在的计算节点中选择一个计算节点；

对于选择的计算节点，在各个待分配的流处理单元中为所述选择的计算节点选择一个流处理单元；

根据所述选择的计算节点的处理能力及选择出的流处理单元的资源使用率确定所述选择的计算节点是否满足选择出的流处理单元的分配条件；

如果满足，则将选择出的流处理单元分配到所述选择的计算节点中。

5.根据权利要求4所述的方法，其特征在于，所述在各个流处理组件所在的计算节点中选择一个计算节点，包括：

根据各个计算节点上的各个流处理组件的资源使用率确定所有流处理组件的中央处理单元CPU平均使用率Cavg_usage、内存平均使用率Mavg_usage；

在各个流处理组件所在的任一计算节点中选择一个计算节点判断Cused>＝Cavg_usage*Ncpu*Ccore，或者Mused>＝Mavg_usage*Mpc是否成立，如果不成立，则选择的一个计算节点作为选择的计算节点；

其中，所述Cused为已经分配到所述选择的一个计算节点中的流处理单元使用的CPU资源，Ncpu为所述选择的一个计算节点的CPU个数，Ccore为所述选择的一个计算节点的CPU频率，Mused为已经分配到所述选择的一个计算节点中的流处理单元使用的内存资源，Mpc为所述选择的一个计算节点的内存总量。