[发明专利]基于指定DNS解析的容器云上分布式训练数据通信的方法有效
| 申请号： | 201910413781.X | 申请日： | 2019-05-17 |
| 公开（公告）号： | CN110198364B | 公开（公告）日： | 2021-09-14 |
| 发明（设计）人： | 张春海;孙夏;冉玫美 | 申请（专利权）人： | 深圳致星科技有限公司 |
| 主分类号： | H04L29/12 | 分类号： | H04L29/12;H04L29/08 |
| 代理公司： | 深圳市力道知识产权代理事务所(普通合伙) 44507 | 代理人： | 何姣 |
| 地址： | 518000 广东省深圳市南山区粤海街道高新*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供一种基于指定DNS解析的容器云分布式训练数据通信的方法，通过为用于训练的容器集群提供额外的RDMA网络以及独立的DNS服务，并指定其为主DNS服务，屏蔽默认网络的DNS访问，进而实现了在容器云上运行分布式训练时容器/容器组间训练数据的RDMA通信，解决了“大模型”和“大数据”场景下容器云上分布式训练时训练数据通信瓶颈的问题，大大提升了容器云平台上分布式训练的效率。 | ||
| 搜索关键词： | 基于 指定 dns 解析 容器 分布式 训练 数据通信 方法 | ||
【主权项】：
1.一种基于指定DNS解析的容器云上分布式训练数据通信的方法，其特征在于，包括：在容器云平台部署分布式训练任务过程中：在为训练任务部署容器集群时，为子任务创建对应的容器/容器组和提供连接访问服务、以及额外提供RDMA网络接入；所述的子任务是由待训练任务分解的；在部署时，为所述容器集群中的RDMA网络提供DNS服务，以所述容器/容器组对应子任务环境配置参数中的连接访问服务名称为容器/容器组的域名，将其与容器/容器组的RDMA网络IP相互映射；指定RDMA网络DNS为所述容器/容器组的主DNS；在所述容器集群上运行分布式训练时，所述子任务的通信数据，即通过环境配置参数中的连接访问服务名称，直接访问RDMA网络DNS服务解析获得本、对端容器/容器组的RDMA网络IP，进行RDMA通信。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于深圳致星科技有限公司，未经深圳致星科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910413781.X/，转载请声明来源钻瓜专利网。
