[发明专利]一种基于超级计算机的全要素模型训练系统在审
申请号: | 202110311629.8 | 申请日: | 2021-03-24 |
公开(公告)号: | CN112882696A | 公开(公告)日: | 2021-06-01 |
发明(设计)人: | 孟祥飞;康波;孙华文;郭佳;李菲菲;高佑强 | 申请(专利权)人: | 国家超级计算天津中心 |
主分类号: | G06F8/33 | 分类号: | G06F8/33;G06F8/34;G06F8/36;G06K9/62 |
代理公司: | 北京锺维联合知识产权代理有限公司 11579 | 代理人: | 丁慧玲 |
地址: | 300457 天津市经济*** | 国省代码: | 天津;12 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 超级 计算机 要素 模型 训练 系统 | ||
1.一种基于超级计算机的全要素模型训练系统,其特征在于,包括:
流程编辑器,设置于用户终端的浏览器上,用于生成人工智能算法有向无环图;
参数提取器,设置于云服务器上,所述云服务器与超级计算机和所述用户终端通信连接,所述参数提取器用于根据预设的参数框架从所述人工智能算法有向无环图中提取预设参数;
模型映射器,设置于所述云服务器上,用于选择目标深度学习框架,将所提取的预设参数映射为目标深度学习框架对应的映射数据和映射模型;
代码生成器,设置于所述超级计算机上,用于将所述映射数据和映射模型动态生成可执行的代码;
代码执行器,设置于超级计算机上,用于运行所述可执行的代码,并生成运行结果。
2.根据权利要求1所述的基于超级计算机的全要素模型训练系统,其特征在于,
所述系统还包括目标深度学习框架确定模块,用于根据超级计算机上所配置的深度学习框架以及资源使用情况,确定所述目标深度学习框架。
3.根据权利要求1所述的基于超级计算机的全要素模型训练系统,其特征在于,
所述流程编辑器内设置有数据层、计算图层和训练层,所述流程编辑器在所述数据层设定训练数据的位置,在所述计算图层设定网络结构模型的有向图结构,在所述训练层设定训练计算所需资源,所述训练计算所需资源包括节点数、训练轮次和每轮次所需数据量大小。
4.根据权利要求3所述的基于超级计算机的全要素模型训练系统,其特征在于,
所述预设的参数框架包括数据参数、模型参数和计算资源,所述参数提取器具体用于:
从所述数据层提取所述数据参数,所述数据参数包括数据源、数据格式和数据大小;
从所述计算图层提取模型参数,所述模型参数包括图的节点组成、连接关系以及所述计算图层中每个图节点对应的参数;
从所述训练层中提取训练计算所需的计算资源。
5.根据权利要求4所述的基于超级计算机的全要素模型训练系统,其特征在于,
所述映射数据为所述数据参数解析得到的目标深度学习框架对应的训练数据,包括训练数据源、每训练批次数据大小、增广选项和预处理选项;
所述映射模型为由所述模型参数映射等得到的目标深度学习框架对应的图表形式数据,包括json表单形式和xml表格形式。
6.根据权利要求1所述的基于超级计算机的全要素模型训练系统,其特征在于,
代码生成器具体用于预置一个转换模板,并采用依赖库加载、数据加载、模型加载、训练配置的顺序将所述映射数据和映射模型依次转换为对应的代码。
7.根据权利要求1所述的基于超级计算机的全要素模型训练系统,其特征在于,
所述代码执行器用于将所述可执行的代码转换为超级计算机对应的运行脚本进行运行,生成所述运行结果。
8.根据权利要求1-7中任意一项所述的基于超级计算机的全要素模型训练系统,其特征在于,
所述系统还包括:
结果回收器,用于从所述代码执行器获取运行结果,将所述运行结果存储至云服务器,并发送给结果查看器;
结果查看器,设置在用户终端的浏览器上,用于根据预设的显示规则显示所述运行生成的结果对应的显示参数。
9.根据权利要求8所述的基于超级计算机的全要素模型训练系统,其特征在于,
所述结果回收器将运行结果存储至网盘中,并挂载至所述云服务器上,再由所述云服务器发送给所述结果查看器。
10.根据权利要求8所述的基于超级计算机的全要素模型训练系统,其特征在于,
所述结果查看器用于根据预设的规则显示关键参数,所述关键参数包括损失参数、学习率和准确率。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于国家超级计算天津中心,未经国家超级计算天津中心许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110311629.8/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种基于超级计算机的云交互系统
- 下一篇:一种基于数据驱动的模型训练系统