[发明专利]一种机器学习管道模型分层化管理和分发的方法及系统在审
申请号: | 202110313978.3 | 申请日: | 2021-03-24 |
公开(公告)号: | CN112906907A | 公开(公告)日: | 2021-06-04 |
发明(设计)人: | 董昕;郭勇;梁艳;王杰;杨雅志 | 申请(专利权)人: | 成都工业学院 |
主分类号: | G06N20/00 | 分类号: | G06N20/00;G06F8/61;G06F9/445 |
代理公司: | 成都行之专利代理事务所(普通合伙) 51220 | 代理人: | 李朝虎 |
地址: | 610000*** | 国省代码: | 四川;51 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 机器 学习 管道 模型 分层 管理 分发 方法 系统 | ||
本发明公开了一种机器学习管道模型分层化管理和分发的方法及系统,包括模型管理客户端和模型镜像仓库;所述模型管理客户端包括命令行管理工具模块和Docker后台模块;所述命令行管理工具模块,用于以命令行的方式提供机器学习管道模型构建、上传、下载等工具;所述Docker后台模块,用于提供API接收来自命令行管理工具的请求,支持用户可通过构建自定义镜像的方式管理机器学习管道模型,根据不同的请求分发给不同模块进而执行相应的工作;所述模型镜像仓库,支持用户上传、下载机器学习管道模型,能够在服务器端对模型文件和模型属性进行分层存储管理;支持符合OCI标准的镜像仓库方案。
技术领域
本发明涉及计算机存储系统中的模型仓库领域,具体涉及一种机器学习管道模型分层化管理和分发的方法及系统。
背景技术
目前业界机器学习模型的分发系统都可以归结为一类方案:基于文件系统或对象存储系统实现的以单一模型文件为基本存储对象的模型仓库。用户需要通过SDK或者UI的方式,上传模型到模型仓库中。在模型上传后,模型仓库会将模型或者模型的元数据存储在自身维护的存储后端中。当需要利用模型进行推理时,用户可利用模型仓库提供的SDK或者接口将模型下载下来,进行推理服务。这种方案并不区分单一模型和管道模型(即基于工作流的若干模型的组合)。
事实上,这种方法将管道模型当作单一模型文件来存储,无法应对管道模型训练或部署在灵活性方面的要求:
a)用户希望对管道中的模型重新编排、组合形成新的管道模型;
b)用户希望提取管道模型中的某一个或几个模型,重新训练或单独部署;
除此之外,复杂的管道模型还带来了以下性能上的挑战:
c)较慢的管道模型上传和下载速度;
d)较高的模型持久化存储成本。
发明内容
本发明所要解决的技术问题是克服现有方案中存在的管道模型管理和分发灵活性不高、性能较低方面的不足,目的在于提供一种机器学习管道模型分层化管理和分发的方法及系统,借鉴镜像仓库分发镜像的方式来支持对机器学习管道模型的存储和分发,从而将管道里的每一个机器学习模型作作为镜像里文件系统中的单独一层来存储;用DAG定义机器学习管道模型的计算关系图,然后将其命名为DAG的模型来存储管道的计算关系,并且DAG模型会作为文件系统中的最上面单独一层来存储。
本发明通过下述技术方案实现:
一种机器学习管道模型分层化管理和分发的方法,包括以下步骤:
S1:获取多个机器学习模型,使用DAG定义机器学习模型之间的管道关系,通过序列化操作得到DAG模型;
S2:自定义一个配置文件;
S3:根据自定义的配置文件生成镜像构建脚本;
S4:根据所述镜像构建脚本对所述多个机器学习模型和所述DAG模型进行构建,生成机器学习管道模型的Docker镜像和对应的工件类型文件;
S5:将所述机器学习管道模型的Docker镜像和对应的工件类型文件推送至模型镜像仓库。
其中,借鉴镜像仓库分发镜像的方式来支持对机器学习管道模型的存储和分发,从而将管道里的每一个机器学习模型作作为镜像里文件系统中的单独一层来存储;用DAG定义机器学习管道模型的计算关系图,然后将其命名为DAG的模型来存储管道的计算关系,并且DAG模型会作为文件系统中的最上面单独一层来存储。让数据科学家之间共享复杂的管道模型,保证多方训练和服务的一致性。并且可以在工作基础上构建和试验任意复杂的模型,这也为集成学习、多任务学习、联邦学习技术所需的更复杂的模型结构提供了可能性,同时让用户可以动态地实现模型操作和自定义评估。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于成都工业学院,未经成都工业学院许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110313978.3/2.html,转载请声明来源钻瓜专利网。
- 上一篇:三维存储器器件及其制造方法
- 下一篇:一种自服务方法、装置及系统