[发明专利]一种分布式数据流资源弹性伸缩增强插件及增强方法

说明书

本发明涉及一种分布式数据流资源弹性伸缩增强插件及增强方法。该插件与用于分布式数据流资源弹性伸缩的伸缩控制器连接；插件包括：决策器、决策模型和伸缩操作样本库；伸缩控制器通过第一接口将数据流注册到插件；伸缩控制器通过第二接口将每个状态下资源伸缩的最优决策发送至插件；伸缩操作样本库用于记录每个状态资源伸缩的最优决策；决策模型用于根据伸缩操作样本库记录的最优决策对接收到的数据流进行预测，生成预测决策；决策器用于根据预测决策确定推荐决策，决策器通过第二接口将推荐决策返回至伸缩控制器；伸缩控制器根据推荐决策对当前数据流进行伸缩操作。本发明可以提高资源弹性伸缩的准确度和效率。

技术领域

本发明涉及数据流资源分配领域，特别是涉及一种分布式数据流资源弹性伸缩增强插件及增强方法。

背景技术

分布式数据流应用通常提供长生命周期的实时数据处理服务。典型的流处理场景通常伴随着数据流负载的波动。例如，社交网站情感分析服务在夜间的数据量将大幅降低，传感器数据的流量通常和设备使用频率有关。数据流负载突然升高或降低，将对执行实时数据处理操作的分布式数据流产生影响。当负载突然升高，为分布式数据流所分配资源可能无法满足计算需求，导致处理速率不能与数据流入速率保持一致；当负载突然降低，分布式数据流可能占用了过多的资源，导致资源的浪费。因此，数据流需要弹性伸缩控制器来完成资源随负载量的弹性伸缩。数据流应用通常将资源抽象成实例，每个实例包含一定数量的CPU核数和内存。弹性伸缩控制器通过自动控制数据流所使用的实例数量，来进行资源的伸缩操作。

现有的资源弹性伸缩控制器通过响应式的调整策略，使数据流资源量可以应对当前的数据产生速率。一般来说，数据流应用由多个计算节点组成，每个计算节点的资源分配最小单位为“实例”。通过增加或减少实例的数量，可以动态的为数据流增加或减少计算资源。

假设数据流的某计算节点数据流入速率为λ，通过观察该计算节点当前的计算状态，可以测量出该节点的数据处理能力为λ_p。理论上，为该计算节点分配λ/λ_p个实例，就可以应对当前的数据流入速率。由于数据流可能存在“一对一”或“多对一”的节点连接关系，因此每个节点的λ可以根据上游节点的输出速率计算得出。从数据源节点开始，根据拓扑排序的顺序依次遍历计算节点，就可以计算出每个节点应分配的实力数量。

以上计算过程可以通过对数据流各个节点的流量进行监控，完成快速的最优实例数量的计算，但由于实际情况下，增加实例数量往往不能带来线性的性能提升，导致实例数量的分配无法一步完成。由于分布式程序网络传输开销或异构机器的计算能力不同等因素，该方法需要迭代多次“计算实例数量-验证是否最优”的过程，直至根据当前数据负载计算得出的实例数量不再发生变化。与基于规则的弹性伸缩控制器相比，这种基于计算的控制器已经能够更快的完成弹性资源伸缩。但实验证明，该方法仍然需要多次尝试来完成一次资源弹性伸缩。

发明内容

本发明的目的是提供一种分布式数据流资源弹性伸缩增强插件及增强方法，以提高资源弹性伸缩的准确度和效率。

为实现上述目的，本发明提供了如下方案：

一种分布式数据流资源弹性伸缩增强插件，所述插件与用于分布式数据流资源弹性伸缩的伸缩控制器连接；所述插件包括：决策器、决策模型和伸缩操作样本库；

所述伸缩控制器通过第一接口将数据流注册到所述插件；所述伸缩控制器通过第二接口将每个状态下资源伸缩的最优决策发送至所述插件，所述最优决策为使得当前状态下数据流资源量适配当前输入数据量的资源分配决策；

所述伸缩操作样本库用于记录每个状态资源伸缩的最优决策；所述决策模型用于根据所述伸缩操作样本库记录的最优决策对接收到的数据流进行预测，生成预测决策；所述决策模型为机器学习模型；所述决策器用于根据所述预测决策确定推荐决策，所述推荐决策为所述预测决策或当前伸缩控制器生成的决策；所述决策器通过所述第二接口将所述推荐决策返回至所述伸缩控制器；