[发明专利]一种数据同步的方法和网络系统

说明书

本说明书提供一种数据同步的方法和网络系统，该方法包括：各GPU以所属的处理服务器为单元进行单元内数据同步，将同步后的数据作为第一同步数据，各GPU与处理服务器中的GPU针对第一同步数据进行单元间数据同步，将同步后的数据作为第二同步数据，各GPU以所属的处理服务器为单元对第二同步数据进行单元内数据同步，以完成各GPU间的数据同步。通过该方法，可以有效提高数据同步速度，进而提升模型训练速度。

技术领域

本公开涉及人工智能领域，尤其涉及一种数据同步的方法和网络系统。

背景技术

在人工智能训练领域，随着模型训练数据越来越大，参数越来越多，所需要计算量越来越大，已经无法通过一块GPU卡在给定的时间完成训练计算。因此需要通过多块GPU组成集群，形成算力的横向扩展，支持大规模训练所需的算力需求。

人工训练过程需要多次迭代，每次迭代需要根据上次迭代的结果进行。当采用GPU集群进行分布式训练时，每块GPU卡每次只能完成训练任务的一部分。每次迭代结束的时候，需要将训练的结果，在整个集群中进行同步。集群中所有节点均获取了本次迭代后的所有数据后，进行汇总后，才能以汇总后的数据为基础，进行下一轮迭代。

发明内容

本公开提供了一种数据同步的方法和网络系统，通过该方法，可以有效提高数据同步速度，进而提升模型训练速度。

本公开实施例提供了一种数据同步的方法，所述方法应用于包含两个或两个以上处理服务器网络中，其中，每个处理服务器包括两个或两个以上GPU，所述方法包括：

各GPU以所属的处理服务器为单元进行单元内数据同步，将同步后的数据作为第一同步数据；

各GPU与处理服务器中的GPU针对第一同步数据进行单元间数据同步，将同步后的数据作为第二同步数据；

各GPU以所属的处理服务器为单元对第二同步数据进行单元内数据同步，以完成各GPU间的数据同步。

其中，所述各GPU以所属的处理服务器为单元进行单元内数据同步，将同步后的数据作为第一同步数据，包括：

对单元中的各GPU进行分组；

利用高速互联通道对分组后的各GPU进行组间数据同步。

其中，所述对单元中的各GPU进行分组，包括：

每次同步前将单元中的各GPU按照N/2分组，其中N为单元中GPU的数量；

所述对分组后的各GPU进行组间数据同步，包括：

按照[(n-1)mod 2^i＝0,(n-1)mod 2^i＝2^(i-1))的节点，与n+2^(i-1)的节点进行组间数据同步和[(n-1)mod 2^i＝2^(i-1),(n-1)mod 2^i＝2^i)的节点，与n-2^(i-1)的节点进行组间数据同步。

其中，所述各GPU与处理服务器中的GPU针对第一同步数据进行单元间数据同步，包括：

按第一规则将各处理服务器和与各处理服务器连接的交换机分层；

按第二规则对每层中的处理服务器进行分组；

以每层中的每组为单位进行层间数据同步，得到层间同步数据；

对层间同步数据进行相邻处理服务器间数据补齐，得到第二同步数据；

其中，所述交换机与各处理服务器间为背靠背组网；

每台处理服务器分别连接两台交换机。

其中，所述按第一规则将各处理服务器和与各处理服务器连接的交换机分层，包括：

获取网络处理服务器个数和与处理服务器连接的交换机个数；