[发明专利]一种存储、业务网分离的分布式训练网络系统及通信方法

权利要求书

1.一种存储、业务网分离的分布式训练网络系统，其特征在于，包括：

存储网络和业务网络；

以及存储/业务网络控制器；其中，

存储网络包括存储节点、工作节点和存储网虚拟交换机；

业务网络包括工作节点、参数服务器节点和业务网虚拟交换机；其中

工作节点、存储节点与存储网虚拟交换机通过它们之间的链路相连；

工作节点、参数服务器节点与业务网虚拟交换机通过它们之间的链路相连；

参数服务器节点为分布式训练过程中用于模型参数更新相关作业的节点；

工作节点为分布式训练过程中用于执行训练相关作业的节点；

存储/业务网络控制器，分别与工作节点的操作系统、存储网络接口、业务网络接口耦接；

且存储/业务网络控制器能够提供存储网络、业务网络在物理网络的并行传输、以及存储网络与业务网络的隔离；

对其中的存储网络和/或业务网络节点间通信分别提供带宽保证；

所述的带宽保证，即：

通过限制其他网络的带宽占用，以保障有足够的剩余带宽给被提供带宽保证的网络。

2.根据权利要求1所述的存储、业务网分离的分布式训练网络系统，其特征在于，

其中的存储/业务网络控制器，包括存储网络接口控制器组和业务网络接口控制器组；

分别将它们的一侧的虚拟网络接口控制器与工作节点的操作系统耦接；另一侧的虚拟网络接口控制器对应地与存储网络接口、业务网络接口耦接；

通过存储网络接口控制器组和业务网络接口控制器组的接入控制，隔离存储网络与业务网络。

3.根据权利要求1所述的存储、业务网分离的分布式训练网络系统，其特征在于，

其中的存储网络、业务网络，分别包括各自的宿主机内虚拟交换机；

所述的宿主机内虚拟交换机一侧与宿主机内各工作节点的操作系统耦接，另一侧对应地与存储网络接口、业务网络接口耦接。

4.根据权利要求1所述的存储、业务网分离的分布式训练网络系统，其特征在于，

其中的存储网络中的存储节点，包括分布式存储系统。

5.一种存储、业务网分离的分布式训练通信方法，其特征在于，包括：

在工作节点的宿主机上，运行存储/业务网络控制器；

将存储/业务网络控制器与工作节点的操作系统耦接；

且将存储/业务网络控制器分别与存储网络接口、业务网络接口耦接；

存储/业务网络控制器，使存储网络、业务网络在物理网络的并行传输；且在逻辑上隔离地并行传输；

其中，存储网络包括存储节点、工作节点和存储网虚拟交换机；

业务网络包括工作节点、参数服务器节点和业务网虚拟交换机；

参数服务器节点为分布式训练过程中用于模型参数更新相关作业的节点；

工作节点为分布式训练过程中用于执行训练相关作业的节点；

对其中的存储网络和/或业务网络节点间通信分别提供带宽保证；

所述的带宽保证，即：

通过限制其他网络的带宽占用，以保障有足够的剩余带宽给被提供带宽保证的网络。

6.根据权利要求5所述的存储、业务网分离的分布式训练通信方法，其特征在于，

提供存储网络接口控制器组和业务网络接口控制器组；

分别将它们的一侧的虚拟网络接口控制器与工作节点的操作系统耦接；另一侧的虚拟网络接口控制器对应地与存储网络接口、业务网络接口耦接；

通过存储网络接口控制器组和业务网络接口控制器组的接入控制，隔离存储网络与业务网络。

7.根据权利要求5所述的存储、业务网分离的分布式训练通信方法，其特征在于，

其中的存储网络、业务网络，通过各自的宿主机内虚拟交换机实现同一宿主机内各工作节点间的通信；其中，

所述的宿主机内虚拟交换机一侧与宿主机内各工作节点的操作系统耦接，另一侧对应地与存储网络接口、业务网络接口耦接。

8.根据权利要求5所述的存储、业务网分离的分布式训练通信方法，其特征在于，

其中的存储网络中的存储节点，包括分布式存储系统。