[发明专利]基于指定DNS解析的容器云上分布式训练数据通信的方法

权利要求书

1.一种基于指定DNS解析的容器云上分布式训练数据通信的方法，其特征在于，包括：

在容器云平台部署分布式训练任务过程中：

在为训练任务部署容器集群时，为子任务创建对应的容器/容器组和提供连接访问服务、以及额外提供RDMA网络接入；所述的子任务是由待训练任务分解的；

在部署时，为所述容器集群中的RDMA网络提供DNS服务，以所述容器/容器组对应子任务环境配置参数中的连接访问服务名称为容器/容器组的域名，将其与容器/容器组的RDMA网络IP相互映射；

指定RDMA网络DNS为所述容器/容器组的主DNS；

在所述容器集群上运行分布式训练时，所述子任务的通信数据，即通过环境配置参数中的连接访问服务名称，直接访问RDMA网络DNS服务解析获得本、对端容器/容器组的RDMA网络IP，进行RDMA通信。

2.根据权利要求1所述的基于指定DNS解析的容器云上分布式训练数据通信的方法，其特征在于，

所述的提供连接访问服务和RDMA网络接入：

通过多网卡cni为所述容器/容器组提供不少于两个的虚拟网卡接口；其中，

第一网卡接口，用于挂载虚拟网卡；所述容器/容器组通过其接入默认网络；

第二网卡接口，用于挂载虚拟RDMA网卡；所述容器/容器组通过其接入RDMA网络。

3.根据权利要求2所述的基于指定DNS解析的容器云上分布式训练数据通信的方法，其特征在于，

通过sriov-cni为所述容器/容器组提供所述的第二网络接口；

对应地，通过sriov虚拟物理RDMA网卡获得所述虚拟RDMA网卡。

4.一种在容器云平台部署分布式训练任务的方法，其特征在于，包括：

将待训练任务分解为若干个子任务；

并为所述子任务生成环境配置参数；

为待训练任务部署容器集群，其中包括：

为所述子任务创建对应的容器/容器组和提供连接访问服务、以及额外提供RDMA网络接入；

在部署时，为所述容器集群中的RDMA网络提供DNS服务，以所述容器/容器组对应子任务环境配置参数中的连接访问服务名称为容器/容器组的域名，将其与容器/容器组的RDMA网络IP相互映射；

指定RDMA网络DNS为所述容器/容器组的主DNS；

在所述容器集群部署完成后，即启动执行分布式训练任务。

5.根据权利要求4所述的在容器云平台部署分布式训练任务的方法，其特征在于，

所述的提供连接访问服务和RDMA网络接入：

通过多网卡cni为所述容器/容器组提供不少于两个的虚拟网卡接口；其中，

第一网卡接口，用于挂载虚拟网卡；所述容器/容器组通过其接入默认网络；

第二网卡接口，用于挂载虚拟RDMA网卡；所述容器/容器组通过其接入RDMA网络。

6.根据权利要求5所述的在容器云平台部署分布式训练任务的方法，其特征在于，

通过sriov-cni为所述容器/容器组提供所述的第二网络接口；

对应地，通过sriov虚拟物理RDMA网卡获得所述虚拟RDMA网卡。