[发明专利]资源管理方法、装置、设备及存储介质有效
申请号: | 202010238609.8 | 申请日: | 2020-03-30 |
公开(公告)号: | CN113467922B | 公开(公告)日: | 2022-08-23 |
发明(设计)人: | 林立翔;龚志刚;于子淇;游亮;龙欣 | 申请(专利权)人: | 阿里巴巴集团控股有限公司 |
主分类号: | G06F9/50 | 分类号: | G06F9/50 |
代理公司: | 北京太合九思知识产权代理有限公司 11610 | 代理人: | 张爱;刘戈 |
地址: | 英属开曼群岛大开*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 资源管理 方法 装置 设备 存储 介质 | ||
本申请实施例提供一种资源管理方法、装置、设备及存储介质。在资源管理方法中,对训练任务对应的训练代码进行解析,可获取训练任务对应的训练数据以及训练任务的计算资源需求信息。基于此,可将训练数据同步至云平台上的云存储资源中,并根据计算资源需求信息在云平台上为该训练任务分配计算资源实例,实现了云平台上的存储资源和计算资源的自动适配,降低了资源适配的复杂度。
技术领域
本申请涉及云计算技术领域,尤其涉及一种资源管理方法、装置、设备及存储介质。
背景技术
机器学习,是人工智能(Artificial Intelligence,AI)的核心,主要通过不同的算法来训练AI模型,进而基于AI模型使计算机具有智能性。
AI模型的训练,以海量的训练数据和大量的迭代优化计算为基础,因此对存储资源和计算资源的需求较高。基于此需求,在一些可提供海量存储资源和高性能计算资源的云平台进行AI模型训练,逐渐成为了一种趋势。
但是,基于云平台进行AI模型训练时,对人力的依赖较大,无法实现自动化的云资源分配。因此,有待提出一种解决方案。
发明内容
本申请的多个方面提供一种资源管理方法、装置、设备及存储介质,用以在人工智能计算时,实现自动化的资源分配。
本申请实施例提供一种资源管理方法,包括:获取训练任务对应的训练代码;解析所述训练代码,以获取所述训练任务对应的训练数据和计算资源需求信息;将所述训练数据同步至云平台上的云存储资源,并在所述云平台上分配与所述计算资源需求信息适配的至少一个计算资源实例;将所述云存储资源提供给所述至少一个计算资源实例,以在所述至少一个计算资源实例上执行所述训练任务。
本申请实施例还提供一种资源管理装置,包括:训练任务监听模块,用于:获取训练任务对应的训练代码;训练任务解析模块,用于:解析所述训练代码,以获取所述训练任务对应的训练数据和计算资源需求信息;云资源管理模块,用于:将所述训练数据同步至云平台上的云存储资源,并在所述云平台上分配与所述计算资源需求信息适配的至少一个计算资源实例;以及,将所述云存储资源提供给所述至少一个计算资源实例,以在所述至少一个计算资源实例上执行所述训练任务。
本申请实施例还提供一种资源管理设备,包括:存储器、处理器以及通信组件;所述存储器用于存储一条或多条计算机指令;所述处理器用于执行所述一条或多条计算机指令以用于:执行本申请实施例提供的资源管理方法。
本申请实施例还提供一种存储有计算机程序的计算机可读存储介质,计算机程序被处理器执行时能够实现本申请实施例提供的资源管理方法。
本申请实施例提供的资源管理方法中,对训练任务对应的训练代码进行解析,可获取训练任务对应的训练数据以及训练任务的计算资源需求信息。基于此,可将训练数据同步至云平台上的云存储资源中,并根据计算资源需求信息在云平台上为该训练任务分配计算资源实例,实现了云平台上的存储资源和计算资源的自动适配,降低了资源适配的复杂度。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本申请一示例性实施例提供的资源管理方法的流程图;
图2为本申请一示例性实施例提供的即刻构建组件的功能交互示意图;
图3为本申请另一示例性实施例提供的资源管理方法的流程示意图;
图4为本申请一应用场景实施例的资源管理流程示意图;
图5a为本申请一示例性实施例提供的资源管理装置的流程示意图;
图5b为本申请一示例性实施例提供的即刻构建组件的结构示意图;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴集团控股有限公司,未经阿里巴巴集团控股有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010238609.8/2.html,转载请声明来源钻瓜专利网。