[发明专利]资源管理方法、装置、设备及存储介质有效
申请号: | 202010238609.8 | 申请日: | 2020-03-30 |
公开(公告)号: | CN113467922B | 公开(公告)日: | 2022-08-23 |
发明(设计)人: | 林立翔;龚志刚;于子淇;游亮;龙欣 | 申请(专利权)人: | 阿里巴巴集团控股有限公司 |
主分类号: | G06F9/50 | 分类号: | G06F9/50 |
代理公司: | 北京太合九思知识产权代理有限公司 11610 | 代理人: | 张爱;刘戈 |
地址: | 英属开曼群岛大开*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 资源管理 方法 装置 设备 存储 介质 | ||
1.一种资源管理方法,其特征在于,包括:
获取训练任务对应的训练代码;
解析所述训练代码,以获取所述训练任务对应的训练数据和计算资源需求信息;
将所述训练数据同步至云平台上的云存储资源,并在所述云平台上分配与所述计算资源需求信息适配的至少一个计算资源实例;其中,所述云存储资源与所述至少一个计算资源实例相互解耦;
将所述云存储资源提供给所述至少一个计算资源实例,以在所述至少一个计算资源实例上执行所述训练任务;
其中,解析所述训练代码,以获取所述训练任务对应的训练数据和计算资源需求信息,包括:对所述训练代码进行编译,以获取所述训练代码调用的资源配置接口;根据所述资源配置接口的配置参数,获取所述训练任务对应的训练数据和计算资源需求信息;所述计算资源配置接口的配置参数,包括:所述训练任务所需的云上计算任务的相关参数。
2.根据权利要求1所述的方法,其特征在于,所述资源配置接口的配置参数,包括:所述训练任务所需的云上计算任务的框架参数、所述云上计算任务的数量参数、所述云上计算任务各自的任务类型参数以及所述云上计算任务各自的任务角色参数中的至少一种。
3.根据权利要求2所述的方法,其特征在于,根据所述资源配置接口的配置参数,获取所述训练任务对应的计算资源需求信息,包括以下至少一种:
根据所述云上计算任务的框架参数,确定所述训练任务的计算资源框架需求信息;
根据所述云上计算任务的数量参数,确定所述训练任务的计算资源数量需求信息;
根据所述云上计算任务各自的任务类型参数,确定所述训练任务的计算资源类型需求信息;
根据所述云上计算任务各自的任务角色参数,确定所述训练任务对应的计算资源角色需求信息。
4.根据权利要求3所述的方法,其特征在于,在所述云平台上分配与所述计算资源需求信息适配的至少一个计算资源实例,包括:
根据所述训练任务对应的计算资源数量需求信息、计算资源类型需求信息、计算资源框架需求信息以及计算资源角色需求信息中的至少一种,在所述云平台上,创建所述至少一个计算资源实例。
5.根据权利要求1所述的方法,其特征在于,所述资源配置接口的配置参数,包括:所述训练数据的存储路径。
6.根据权利要求5所述的方法,其特征在于,将所述训练数据同步至云平台上的云存储资源,包括:
在所述云平台上,对所述存储路径下的数据进行备份,得到云备份数据;
根据所述云备份数据,在所述云平台上创建至少一个云盘;所述至少一个云盘的数量与所述至少一个计算资源实例的数量适配。
7.根据权利要求6所述的方法,其特征在于,在所述云平台上,对所述存储路径下的数据进行备份,得到云备份数据,包括:
在所述云平台上,为所述存储路径下的数据创建云盘快照;或者,
将所述存储路径下的数据同步至所述云平台上的指定文件存储设备。
8.根据权利要求6所述的方法,其特征在于,还包括:
监听所述存储路径下的数据更新操作;
响应所述数据更新操作,根据所述存储路径下更新后的数据,更新所述云备份数据。
9.根据权利要求6-8任一项所述的方法,其特征在于,将所述云存储资源提供给所述至少一个计算资源实例,以在所述至少一个计算资源实例上执行所述训练任务,包括:
将所述至少一个云盘,分别挂载到所述至少一个计算资源实例上,以在所述至少一个计算资源实例上,根据各自挂载的云盘中的训练数据,执行对应的训练任务。
10.根据权利要求1-8任一项所述的方法,其特征在于,还包括:
若所述训练任务执行完毕,则释放所述至少一个计算资源实例以及所述云存储资源。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴集团控股有限公司,未经阿里巴巴集团控股有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010238609.8/1.html,转载请声明来源钻瓜专利网。