[发明专利]一种分布式数据流资源弹性伸缩增强插件及增强方法有效
申请号: | 202011434620.8 | 申请日: | 2020-12-10 |
公开(公告)号: | CN112416602B | 公开(公告)日: | 2022-09-16 |
发明(设计)人: | 闻立杰;宗瓒 | 申请(专利权)人: | 清华大学 |
主分类号: | G06F9/50 | 分类号: | G06F9/50;G06N20/00 |
代理公司: | 北京高沃律师事务所 11569 | 代理人: | 王爱涛 |
地址: | 100080 北京市海淀区清*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 分布式 数据流 资源 弹性 伸缩 增强 插件 方法 | ||
1.一种分布式数据流资源弹性伸缩增强插件,其特征在于,所述插件与用于分布式数据流资源弹性伸缩的伸缩控制器连接;所述插件包括:决策器、决策模型和伸缩操作样本库;
所述伸缩控制器通过第一接口将数据流注册到所述插件;所述伸缩控制器通过第二接口将每个状态下资源伸缩的最优决策发送至所述插件,所述最优决策为使得当前状态下数据流资源量适配当前输入数据量的资源分配决策;
所述伸缩操作样本库用于记录每个状态资源伸缩的最优决策;所述决策模型用于根据所述伸缩操作样本库记录的最优决策对接收到的数据流进行预测,生成预测决策;所述决策模型为机器学习模型;所述决策器用于根据所述预测决策确定推荐决策,所述推荐决策为所述预测决策或当前伸缩控制器生成的决策;所述决策器通过所述第二接口将所述推荐决策返回至所述伸缩控制器;
所述伸缩控制器根据所述推荐决策对当前数据流进行伸缩操作;
所述决策器用于根据所述预测决策确定推荐决策,具体包括:
当决策模型输出的不确定度小于或等于阈值η时,决策器将认为该预测是准确的,进而使用该预测实例数量代替伸缩控制器给出的决策中对应节点的实例数量;当输出的不确定度大于阈值η时,决策器将认为准确预测的把握不大,因此将忽略该预测结果,直接使用伸缩控制器的实例数量,将各节点所对应的实例数量称为一个决策,经过以上步骤,决策器可以生成最终的推荐决策,并返回给伸缩控制器。
2.根据权利要求1所述的分布式数据流资源弹性伸缩增强插件,其特征在于,所述插件通过HTTP接口与所述伸缩控制器连接。
3.根据权利要求2所述的分布式数据流资源弹性伸缩增强插件,其特征在于,所述伸缩控制器还用于完成伸缩操作后,确定所述伸缩操作对应的推荐决策的决策质量,并将所述决策质量通过第三接口反馈至所述插件;所述推荐决策的决策质量为所述推荐决策是否为最优,当所述推荐决策为最优时,所述插件将所述推荐决策作为最优决策存储至所述伸缩操作样本库;
所述第一接口、所述第二接口和所述第三接口均为HTTP接口。
4.一种分布式数据流资源弹性伸缩增强插件的增强方法,其特征在于,所述分布式数据流资源弹性伸缩增强插件的增强方法应用于权利要求1-3任一项所述的分布式数据流资源弹性伸缩增强插件,所述分布式数据流资源弹性伸缩增强插件的增强方法包括:
获取当前数据流;
根据当前数据流,采用决策模型基于伸缩操作样本库生成预测决策;
获取当前伸缩控制器生成的决策;
根据所述预测决策,基于决策器确定推荐决策;所述推荐决策为所述预测决策或当前伸缩控制器生成的决策;
基于所述推荐决策采用所述伸缩控制器对当前数据流进行伸缩操作;
所述根据所述预测决策,基于决策器确定推荐决策,具体包括:
当决策模型输出的不确定度小于或等于阈值η时,决策器将认为该预测是准确的,进而使用该预测实例数量代替伸缩控制器给出的决策中对应节点的实例数量;当输出的不确定度大于阈值η时,决策器将认为准确预测的把握不大,因此将忽略该预测结果,直接使用伸缩控制器的实例数量,将各节点所对应的实例数量称为一个决策,经过以上步骤,决策器可以生成最终的推荐决策,并返回给伸缩控制器。
5.根据权利要求4所述的分布式数据流资源弹性伸缩增强插件的增强方法,其特征在于,所述根据当前数据流,采用决策模型基于伸缩操作样本库生成预测决策,具体包括:
基于所述伸缩操作样本库对所述决策模型进行训练,得到训练好的决策模型;
采用训练好的决策模型对当前数据流进行预测,生成预测决策。
6.根据权利要求4所述的分布式数据流资源弹性伸缩增强插件的增强方法,其特征在于,所述基于所述推荐决策采用所述伸缩控制器对当前数据流进行伸缩操作,之后还包括:
当伸缩控制器完成伸缩操作后,确定所述伸缩操作对应的推荐决策的决策质量;所述推荐决策的决策质量为所述推荐决策是否为最优;
当所述推荐决策为最优时,将所述推荐决策作为最优决策存储至所述伸缩操作样本库。
7.根据权利要求6所述的分布式数据流资源弹性伸缩增强插件的增强方法,其特征在于,所述当伸缩控制器完成伸缩操作后,确定所述伸缩操作对应的推荐决策的决策质量,具体包括:
通过判断所述推荐决策是否满足收敛条件,确定所述伸缩操作对应的推荐决策是否为最优;当所述推荐决策满足收敛条件时,确定所述伸缩操作对应的推荐决策最优;当所述推荐决策不满足收敛条件时,确定所述伸缩操作对应的推荐决策不是最优。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于清华大学,未经清华大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011434620.8/1.html,转载请声明来源钻瓜专利网。