[发明专利]深度学习模型的部署方法、装置、电子设备和存储介质有效
申请号: | 202010612647.5 | 申请日: | 2020-06-30 |
公开(公告)号: | CN111767059B | 公开(公告)日: | 2023-03-31 |
发明(设计)人: | 陈晓宇;张亮伙;阮世珉;吴拓邦;施恩;谢永康 | 申请(专利权)人: | 北京百度网讯科技有限公司 |
主分类号: | G06F8/60 | 分类号: | G06F8/60;G06N20/00 |
代理公司: | 北京柏杉松知识产权代理事务所(普通合伙) 11413 | 代理人: | 马敬;项京 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 深度 学习 模型 部署 方法 装置 电子设备 存储 介质 | ||
1.一种深度学习模型的部署方法,包括:
接收部署请求;其中,所述部署请求包括深度学习模型和至少两个部署设备类型;
针对所述至少两个部署设备类型中的每个部署设备类型,确定在所述部署设备类型对应的设备上部署所述深度学习模型的流程图;
在所述至少两个部署设备类型对应的至少两个流程图包括相同的任务的情况下,合并所述至少两个流程图中相同的任务,得到目标流程图;
执行所述目标流程图,得到与所述每个部署设备类型分别对应的部署包;
其中,通过以下步骤确定所述至少两个部署设备类型对应的至少两个流程图包括相同的任务:
如果所述至少两个流程图中的至少两个任务的前置任务或输入信息相同,且所述至少两个任务的任务类型相同,则确定所述至少两个任务相同。
2.根据权利要求1所述的方法,还包括:
执行层的wrapper预执行所述目标流程图,获取执行所述目标流程图所需的参数后,执行层的执行工具执行所述目标流程图;
在执行层的执行工具执行所述目标流程图时,所述wrapper将所述参数透传至所述执行工具。
3.根据权利要求1所述的方法,其中,所述执行所述目标流程图,得到与所述每个部署设备类型分别对应的部署包,包括:
根据所述目标流程图中每个任务的资源需求,将所述每个任务分配至对应的队列中;
根据所述每个任务所在的队列对应的并发配置,并发执行对应于不同部署设备类型的任务,得到与所述每个部署设备类型分别对应的部署包。
4.一种深度学习模型的部署装置,包括:
接口模块,用于接收部署请求;其中,所述部署请求包括深度学习模型和至少两个部署设备类型;
流程确定模块,用于针对所述至少两个部署设备类型中的每个部署设备类型,确定在所述部署设备类型对应的设备上部署所述深度学习模型的流程图;
流程优化模块,用于在所述至少两个部署设备类型对应的至少两个流程图包括相同的任务的情况下,合并所述至少两个流程图中相同的任务,得到目标流程图;
执行模块,用于执行所述目标流程图,得到与所述每个部署设备类型分别对应的部署包;
任务确定模块,用于在所述至少两个流程图中的至少两个任务的前置任务或输入信息相同,且所述至少两个任务的任务类型相同的情况下,确定所述至少两个任务相同。
5.根据权利要求4所述的装置,还包括:
参数获取模块,用于利用执行层的wrapper预执行所述目标流程图,获取执行所述目标流程图所需的参数后,执行层的执行工具执行所述目标流程图;
透传模块,用于在执行层的执行工具执行所述目标流程图时,所述wrapper将所述参数透传至所述执行工具。
6.根据权利要求4所述的装置,其中,所述执行模块包括:
分配单元,用于根据所述目标流程图中每个任务的资源需求,将所述每个任务分配至对应的队列中;
并发执行单元,用于根据所述每个任务所在的队列对应的并发配置,并发执行对应于不同部署设备类型的任务,得到与所述每个部署设备类型分别对应的部署包。
7.一种电子设备,其特征在于,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-3中任一项所述的方法。
8.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使所述计算机执行权利要求1-3中任一项所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司,未经北京百度网讯科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010612647.5/1.html,转载请声明来源钻瓜专利网。