[发明专利]大型模型深度学习的分布式计算架构有效
| 申请号： | 201910486885.3 | 申请日： | 2019-06-05 |
| 公开（公告）号： | CN110580197B | 公开（公告）日： | 2023-05-02 |
| 发明（设计）人： | A·A·R·约翰;S·维诺德 | 申请（专利权）人： | 国际商业机器公司 |
| 主分类号： | G06F9/50 | 分类号： | G06F9/50;G06N20/00 |
| 代理公司： | 北京市中咨律师事务所 11247 | 代理人： | 魏子翔;于静 |
| 地址： | 美国*** | 国省代码： | 暂无信息 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 一种用于深度学习的分布式网络架构，其包括存储关于在多个互连主机节点之间分布的深度学习模型的相应部分的信息的模型映射表(MMT)。相应主机节点可以包括至少一个中央处理单元(CPU)、至少一个CPU存储器、至少一个图形处理单元(GPU)和至少一个GPU存储器。可以通过如下方式来训练深度学习模型：接收来自请求GPU的针对深度学习模型的第一部分的请求，识别存储深度学习模型的第一部分的第一主机节点，向请求GPU存储器提供深度学习模型的第一部分的第一副本，由请求GPU对第一副本执行处理，并且基于对深度学习模型的第一部分的第一副本执行的处理来更新MMT。 | ||
| 搜索关键词： | 大型 模型 深度 学习 分布式 计算 架构 | ||
【主权项】：
1.一种计算机实现的方法，包括：/n生成模型映射表MMT，其存储关于在多个互连主机节点之间分布的深度学习模型的相应部分的信息，其中，相应的主机节点包括至少一个中央处理单元CPU、至少一个CPU存储器、至少一个图形处理单元GPU以及至少一个GPU存储器，其中，所述深度学习模型包括大于所述多个互连主机节点中的任何相应主机节点中的存储器容量的数据量；以及/n通过在所述多个互连主机节点上训练所述深度学习模型的所述相应部分来训练所述深度学习模型，所述训练包括：/n接收来自请求GPU的针对所述深度学习模型的第一部分的请求，其中，所述请求GPU与请求GPU存储器和请求主机节点相关联；/n基于所述MMT中的信息，识别存储所述深度学习模型的所述第一部分的所述多个互连主机节点中的第一主机节点；/n将所述深度学习模型的所述第一部分从所述第一主机节点传送到所述请求主机节点；/n从所述请求主机节点向所述请求GPU存储器提供所述深度学习模型的所述第一部分的第一副本；/n由所述请求GPU对存储在所述请求GPU存储器中的所述深度学习模型的所述第一部分的所述第一副本执行处理；/n响应于执行处理，将所述深度学习模型的所述第一部分的所述第一副本与所述深度学习模型的所述第一部分同步；以及/n基于同步所述深度学习模型的所述第一部分的所述第一副本来更新所述MMT。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于国际商业机器公司，未经国际商业机器公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910486885.3/，转载请声明来源钻瓜专利网。
