[发明专利]一种根据IP分配表更新分布式训练任务连接参数的方法有效
| 申请号： | 201910415272.0 | 申请日： | 2019-05-17 |
| 公开（公告）号： | CN110300192B | 公开（公告）日： | 2021-09-14 |
| 发明（设计）人： | 张春海;孙夏;冉玫美 | 申请（专利权）人： | 深圳致星科技有限公司 |
| 主分类号： | H04L29/12 | 分类号： | H04L29/12 |
| 代理公司： | 深圳市力道知识产权代理事务所(普通合伙) 44507 | 代理人： | 何姣 |
| 地址： | 518000 广东省深圳市南山区粤海街道高新*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供一种根据IP分配表更新分布式训练任务连接参数的方法，通过利用IP分配表的记录，在启动分布式训练任务前，高效、快速地将子任务的环境配置参数中的默认连接参数更新为容器/容器组被分配获得的RDMA网络IP，实现了在容器云上运行分布式训练任务时训练数据的RDMA通信，解决了“大模型”和“大数据”场景下容器云上部署分布式训练时训练数据通信瓶颈问题，大大提高了在容器云平台上执行分布式训练的效率。 | ||
| 搜索关键词： | 一种 根据 ip 分配 更新 分布式 训练 任务 连接 参数 方法 | ||
【主权项】：
1.一种根据IP分配表更新分布式训练任务连接参数的方法，其特征在于，包括：在容器云平台部署分布式训练任务过程中：在为训练任务部署容器集群时，为子任务创建对应的容器/容器组和提供连接访问服务、以及额外提供RDMA网络接入；所述的子任务是由待训练任务分解的；在为所述容器集群中的容器/容器组分配RDMA网络IP时，创建IP分配表；所述IP分配表，以所述容器/容器组对应的子任务的环境配置参数中的默认连接参数为容器/容器组名称，记录所述容器集群中容器/容器组的RDMA网络IP；在所述容器集群部署完成后和启动分布式训练任务前，将所述环境配置参数中的默认连接参数更新为所述容器/容器组的RDMA网络IP。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于深圳致星科技有限公司，未经深圳致星科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910415272.0/，转载请声明来源钻瓜专利网。
- 上一篇：服务系统及数据处理方法
- 下一篇：一种获取实体域名的方法和装置
