[发明专利]数据整合方法、分布式计算节点及分布式深度学习训练系统

权利要求书

1.一种数据整合方法，用于分布式计算节点的数据整合，其中，所述方法包括：

数据分段步骤，根据全部计算节点的节点数量，将数据分为多个数据段，所述数据段具有数据段标识，其中，所述计算节点具有节点标识；

第一发送步骤，根据所述数据段标识和所述节点标识，将所述多个数据段分别向相应的其它所述计算节点发送；

第一接收步骤，接收其它所述计算节点发送的数据段；

聚合步骤，根据接收到的数据段及其所述数据段标识，更新相应的所述数据段，得到聚合数据段；

汇总步骤，基于全部所述计算节点的所述聚合数据段，进行整合，得到整合后的所述数据。

2.根据权利要求1所述的方法，其中，所述第一接收步骤还包括：

根据预设数量，接收其它所述计算节点发送的数据段，其中所述预设数量比所述节点数量少两个或两个以上。

3.根据权利要求1所述的方法，其中，所述第一接收步骤还包括：

根据预设时间，在所述预设时间内接收其它所述计算节点发送的数据段。

4.根据权利要求1所述的方法，其中，所述汇总步骤包括：

第二发送步骤，将所述聚合数据段向其它所述计算节点发送；

第二接收步骤，接收其它所述计算节点发送的聚合数据段；

整合步骤，根据接收到的所述聚合数据段及其所述数据段标识，整合所述数据。

5.根据权利要求4所述的方法，其中，所述第二发送步骤还包括：通过广播或多播，将所述聚合数据段向其它所述计算节点发送。

6.根据权利要求1-5任一项所述的方法，其中，所述方法还包括：

轮次设置步骤，设置轮次数；

所述第一发送步骤还包括：根据所述轮次数、所述数据段标识和所述节点标识，将所述多个数据段分别发送至相应的其它所述计算节点。

7.根据权利要求6所述的方法，其中，在所述汇总步骤之后，所述方法还包括：返回所述轮次设置步骤，更新所述轮次数。

8.根据权利要求1所述的方法，其中，所述第一发送步骤通过多线程并行发送所述数据段；所述第一接收步骤通过多线程并行接收所述数据段。

9.一种分布式计算节点，其中，所述计算节点包括：

数据分段模块，用于根据全部计算节点的节点数量，将数据分为多个数据段，所述数据段具有数据段标识，其中，所述计算节点具有节点标识；

第一发送模块，用于根据所述数据段标识和所述节点标识，将所述多个数据段分别向相应的其它所述计算节点发送；

第一接收模块，用于接收其它所述计算节点发送的数据段；

聚合模块，用于根据接收到的数据段及其所述数据段标识，更新相应的所述数据段，得到聚合数据段；

汇总模块，用于基于全部所述计算节点的所述聚合数据段，进行整合，得到整合后的所述数据。

10.一种分布式深度学习训练系统，其中，所述系统包括多个如权利要求9所述的计算节点，多个所述计算节点之间通信连接。

11.一种电子设备，其中，所述电子设备包括：

存储器，用于存储指令；以及

处理器，用于调用所述存储器存储的指令执行如权利要求1-8中任一项所述的数据整合方法。

12.一种计算机可读存储介质，其中存储有指令，所述指令被处理器执行时，执行如权利要求1-8中任一项所述的数据整合方法。