[发明专利]离线混部作业的资源调度方法及服务器系统在审
申请号: | 201911282169.X | 申请日: | 2019-12-13 |
公开(公告)号: | CN111026553A | 公开(公告)日: | 2020-04-17 |
发明(设计)人: | 叶可江;陈文艳;须成忠 | 申请(专利权)人: | 深圳先进技术研究院 |
主分类号: | G06F9/50 | 分类号: | G06F9/50 |
代理公司: | 深圳市科进知识产权代理事务所(普通合伙) 44316 | 代理人: | 曹卫良 |
地址: | 518055 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 离线 作业 资源 调度 方法 服务器 系统 | ||
1.一种离线混部作业的资源调度方法,其特征在于,所述方法包括:
监测服务器中负载的数据请求类型;
在监测到所述负载为离线型负载时,采集所述离线型负载在不同设置参数下的运行时间,所述设置参数包括输入数据量大小、Map、Reduce数据大小、迭代次数、BatchSize大小等;
采用LWLR模型对所述运行时间进行训练,预测所述离线型负载的运行时间;
根据预测的所述运行时间,选择相应的服务器资源对所述离线型负载进行处理。
2.如权利要求1所述的方法,其特征在于,所述监测服务器中负载的数据请求类型的步骤包括:
监控运行在服务器中负载的数据读写请求和响应延迟需求;
根据所述数据读写请求和响应延迟需求判断所述负载的数据请求类型。
3.如权利要求2所述的方法,其特征在于,所述根据所述数据读写请求和响应延迟需求判断所述负载的数据请求类型的步骤包括:
若所述负载的数据读写请求和响应延迟需求均小于相应的预设阈值,则判定所述负载为在线型负载,否则判定所述负载为离线型负载。
4.如权利要求1所述的方法,其特征在于,所述采用LWLR模型对所述运行时间进行训练,预测所述离线型负载的运行时间的步骤之前,所述方法还包括:
对所述离线型负载在不同设置参数下的运行时间进行预处理。
5.如权利要求1所述的方法,其特征在于,所述方法还包括:
在监测到所述负载为在线型负载时,采集所述服务器中运行负载的历史资源利用率;
分析所述历史资源利用率的变化趋势;
根据所述变化趋势选择相应模型对未来时刻的资源利用率进行预测;
根据预测的资源利用率选择相应的服务器资源进行处理。
6.如权利要求5所述的方法,其特征在于,所述分析所述历史资源利用率的变化趋势的步骤包括:
采用统计分析方法对所述历史资源利用率进行特征画像;
根据所述特征画像确定所述历史资源利用率的变化趋势。
7.如权利要求5所述的方法,其特征在于,所述变化趋势包括周期性变化趋势和非周期性变化趋势,所述根据所述变化趋势选择相应模型对未来时刻的资源利用率进行预测的步骤包括:
若为周期性变化趋势,则采用Prophet模型对所述历史资源利用率进行训练,预测未来时刻的资源利用率;
若为非周期性变化趋势,则采用Seq2Seq模型对所述历史资源利用率进行训练,预测未来时刻的资源利用率。
8.一种服务器系统,其特征在于,所述服务器系统包括:
处理器;以及
与所述处理器通信连接的存储器;其中,
所述存储器存储有可读性指令,所述可读性指令被所述处理器执行时实现如权利要求1-7任一项所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳先进技术研究院,未经深圳先进技术研究院许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911282169.X/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种可远控且安全的照明浴室镜柜
- 下一篇:微通道板通道内抛光方法