[发明专利]一种神经网络训练方法、装置及其设备

权利要求书

1.一种神经网络训练方法，包括：

由第一处理单元生成与所述神经网络有关的张量；

由第二处理单元对第一处理单元生成的张量进行张量求和，得到全局张量和；以及

由第一处理单元基于所述全局张量和执行所述神经网络的参数更新，

其中，由第二处理单元对第一处理单元生成的张量进行张量求和，得到全局张量和包括：通过拓扑感知，由第二处理单元对第一处理单元生成的张量进行张量求和，得到全局张量和，

其中，通过拓扑感知，由第二处理单元对第一处理单元生成的张量进行张量求和，得到全局张量和包括：

步骤1：对同一交换机下的第一处理单元生成的张量进行张量求和，得到聚合数据；

步骤2：将所述聚合数据复制到第二处理单元；以及

步骤3：所述第二处理单元对所述聚合数据进行张量求和，得到全局张量和；

其中，所述第一处理单元和所述第二处理单元是硬件处理单元且所述第一处理单元不同于所述第二处理单元。

2.如权利要求1所述的方法，还包括，在由第二处理单元对第一处理单元生成的张量进行张量求和，得到全局张量和之后，将所述全局张量和通信到第一处理单元。

3.如权利要求2所述的方法，其中，由第二处理单元对第一处理单元生成的张量进行张量求和，得到全局张量和包括：通过直接复制，由第二处理单元对第一处理单元生成的张量进行张量求和，得到全局张量和。

4.如权利要求3所述的方法，其中由第二处理单元对第一处理单元生成的张量进行张量求和，得到全局张量和包括：对第一处理单元生成的张量中的第一集合应用直接复制，对第一处理单元生成的张量中的第二集合应用拓扑感知。

5.如权利要求3所述的方法，其中由第二处理单元对第一处理单元生成的张量进行张量求和，得到全局张量和包括：对于分层拓扑中的两级树，

当下层链路的带宽小于上层链路的带宽时，通过直接复制，由第二处理单元对第一处理单元生成的张量进行张量求和；并且

当下层链路的带宽大于上层链路的带宽时，通过拓扑感知，由第二处理单元对第一处理单元生成的张量进行张量求和。

6.如权利要求3至5中的任一项所述的方法，其中，通过直接复制，由第二处理单元对第一处理单元生成的张量进行张量求和，得到全局张量和包括：

将第一处理单元生成的张量复制到第二处理单元；

所述第二处理单元对第一处理单元生成的张量执行张量求和，得到全局张量和；

并且其中，将所述全局张量和通信到第一处理单元包括：将所述全局张量和复制回第一处理单元。

7.如权利要求2至5中的任一项所述的方法，其中，将所述全局张量和通信到第一处理单元包括：

步骤4：第一处理单元将其分区数据从第二处理单元复制回其自身；

步骤5：每个第二处理单元与同一交换机下的第二处理单元一起执行全局-收集操作。

8.如权利要求7所述的方法，其中，通过流水线来执行所述步骤1、步骤2、步骤3、步骤4和步骤5，

并且其中，在所述步骤1、步骤2、步骤3、步骤4和步骤5中的至少一个步骤处维护相应的张量队列。

9.如权利要求8所述的方法，其中在通过流水线来执行所述步骤1、步骤2、步骤3、步骤4和步骤5期间，对第一处理单元生成的张量进行张量划分，使得要被处理的张量大小相同。