[发明专利]一种面向大数据应用的云计算资源调度方法在审
申请号: | 201711437160.2 | 申请日: | 2017-12-26 |
公开(公告)号: | CN108170532A | 公开(公告)日: | 2018-06-15 |
发明(设计)人: | 周红卫;周博;吴昊;张晓洲;王钟沛 | 申请(专利权)人: | 江苏润和软件股份有限公司 |
主分类号: | G06F9/50 | 分类号: | G06F9/50 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 210012 江*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 离线训练 云计算资源 大数据 批处理 调度 大规模数据 成本效益 动态规划 关键特征 基础数据 日志分析 数据规模 贪心算法 资源规划 作业分配 作业集中 离线 应用 抽取 三维 抽象 反馈 学习 | ||
1.方法特征在于实现步骤如下:
第一步,离线学习:首先将所需要处理的每个作业提交到系统,系统将自动分配一定的资源给该作业,资源会在不同类型的集群上以不同的规模进行分配;对于批处理作业,离线模块会将作业放到不同类型的集群中同时选择不同的集群规模进行多次处理;
第二步,资源规划:得到作业集中每个作业的完成时间哈希表,此时,每个作业的具体资源分配问题就归结为在给定总资源的前提下如何为每个作业进行资源分配使得该作业集在该给定资源上全局完成时间最短;
第三步,反馈调整:学习并调整底层作业完成时间预测基础数据,对于处理完的作业集产生的新的用于时间预测的数据,反馈控制器将调整数据库中的对应数据使得系统得到及时地更新,使用EWMA作为基础进行数据调整。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于江苏润和软件股份有限公司,未经江苏润和软件股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201711437160.2/1.html,转载请声明来源钻瓜专利网。