[发明专利]一种面向数据流处理的弹性可扩展资源管理方法及系统

权利要求书

1.一种面向数据流处理的弹性可扩展资源管理方法，其特征在于，包括如下步骤：

步骤101：子集群的每个执行实例内的本地管理器实时监控其对应的执行实例的资源利用率和输入负载情况，周期性地向给弹性管理器发送监控报告；

步骤102：所述弹性管理器分析所有本地管理器发送来的监控报告，当发现某一子集群中的某个执行实例出现负载问题时，启动窗口重构协议或状态重构协议，向上游相关执行实例发送重配置启动命令；

步骤103：上游相关的执行实例根据重配置启动命令执行相应的重构协议，重新确定原来将要发送给出现负载问题的执行实例的元组的去向；

步骤104：弹性管理器进行负载均衡时，需要和资源管理器进行信息交互，实现对出现负载问题的子集群的执行实例进行分配调度。

2.根据权利要求1所述一种面向数据流处理的弹性可扩展资源管理方法，其特征在于，所述负载均衡策略包括在出现负载问题的子集群中增加执行实例、减少执行实例和动态调整已有执行实例间的输入负载。

3.根据权利要求1所述一种面向数据流处理的弹性可扩展资源管理方法，其特征在于，所述重构协议就是将原来要发送到下游子集群中的某些执行实例中的一个或一个以上元组桶中的元组发送到新的执行实例。

4.根据权利要求1所述一种面向数据流处理的弹性可扩展资源管理方法，其特征在于，步骤103中上游子集群中相关的执行实例根据重配置启动命令进行重配置的具体步骤为：

步骤201：上游子集群中每个相关执行实例根据重配置启动命令指定需要执行重配置的元组桶，并确定元组桶配置前后对应的旧执行实例和新执行实例；

步骤202：上游子集群中每个相关执行实例向下游子集群中相应的旧执行实例和新执行实例发送携带重配置信息的控制元组；

步骤203：旧执行实例和新执行实例将最晚接收到的控制元组中重配置信息包含的时间戳设置为重配置起始时间戳，进而通过弹性管理器将重配置起始时间戳发送给上游相关执行实例；

步骤204：上游相关执行实例根据接收的重配置起始时间戳配置元组桶的重配置起始时间，配置完成后，向下游旧执行实例和新执行实例发送配置完成信息；

步骤205：下游旧执行实例和新执行实例根据窗口重构协议或状态重构协议进行重配置运算后，下游旧执行实例通过弹性管理器向上游相关执行实例反馈重配置结束命令；

步骤206：下游旧执行实例和新执行实例根据窗口重构协议或状态重构协议对接收的元组进行处理。

5.根据权利要求4所述一种面向数据流处理的弹性可扩展资源管理方法，其特征在于，上述技术方案执行过程中，上游相关的执行实例在接收到重配置启动命令前，将元组只发给旧执行实例；在接收到重配置启动命令后，且在接收到重配置结束命令前，将原来要发往下游旧执行实例的元组既发给原来的旧执行实例，同时也发给新执行实例；在接收到重配置结束命令后，将原来要发往下游旧执行实例的元组只发送给新执行实例。

6.根据权利要求4所述一种面向数据流处理的弹性可扩展资源管理方法，其特征在于，步骤202中所述每个控制元组中携带的重配置信息包括其对应的上游相关执行实例收到重配置启动命令后发送的最后一个元组的时间戳、重配置的元组桶和新执行实例。

7.根据权利要求4所述一种面向数据流处理的弹性可扩展资源管理方法，其特征在于，窗口重构协议中还要配置元组桶的重配置结束时间戳，具体步骤：

步骤301：旧执行实例根据重配置起始时间戳和窗口大小计算重配置结束时间戳，计算公式为endTS=startTS+窗口大小，其中endTS为重配置结束时间戳，startTS为重配置起始时间戳，窗口大小为管理执行实例处理元组时间的单元；

步骤302：同时新执行实例根据重配置起始时间戳、窗口大小和窗口间的步进大小计算重配置转换时间戳，计算公式为switchTS=startTS+窗口大小-步进大小，其中，switchTS为重配置转换时间戳，startTS为重配置起始时间戳，窗口大小为管理执行实例处理元组时间的单元，步进大小为两个窗口间的时间间隔；

步骤303：下游旧执行实例通过弹性管理器将包括重配置结束时间戳的重配置结束命令发送给上游相关的执行实例；

步骤304：上游相关的执行实例根据接收的重配置结束命令，配置元组桶的重配置结束时间戳。