[发明专利]一种深度学习的参数交换方法、装置、服务器及存储介质

权利要求书

1.一种深度学习的参数交换方法，其特征在于，包括：

获取匹配的训练数据；

根据所述匹配的训练数据和已知的第一权值进行训练，获得第一训练参数；

将所述第一训练参数压缩后与其它处理器进行交换获得第二训练参数，具体包括：将所述第一训练参数压缩后发送给同一节点内除自己外的每一个所述处理器，同时接收同一所述节点内除自己外的每一个所述处理器发送的压缩后的第三训练参数；将压缩后的所述第一训练参数和接收的压缩后的所述第三训练参数进行相加求平均值，获得所述第二训练参数；

若所述处理器为根设备，将所述第二训练参数分别发送给集群中除自己外的每一个所述节点的根设备，同时接收所述集群中除自己外的每一个所述节点的根设备发送的第四训练参数；将所述第二训练参数和接收的第四训练参数进行相加求平均，获得第五训练参数；

根据所述第五训练参数和已知的学习率进行计算获得第二权值，其中，所述第二权值用于对所述第一权值进行更新；采用所述第二权值更新所述第一权值，并将所述第二权值分别发送给所述根设备所在所述节点内除所述根设备外的每一个所述处理器。

2.根据权利要求1所述的深度学习的参数交换方法，其特征在于，所述将所述第二权值分别发送给所述根设备所在所述节点内除所述根设备外的每一个所述处理器之后，还包括：

判断是否达到终止条件，若是，则结束，否则，重新执行所述深度学习的参数交换方法。

3.根据权利要求1或2所述的深度学习的参数交换方法，其特征在于，所述获取匹配的训练数据，具体包括：

确定数据偏移量；

根据所述数据偏移量从训练数据集中获取匹配的训练数据。

4.根据权利要求3所述的深度学习的参数交换方法，其特征在于，所述数据偏移量包括：所述节点的序列号与所述节点内所述处理器个数乘积的结果与所述处理器的编号相加所得的数值。

5.一种深度学习的参数交换装置，其特征在于，包括：

获取模块，用于获取匹配的训练数据；

训练模块，用于根据所述匹配的训练数据和第一权值进行训练，获得第一训练参数；

参数交换模块，用于将所述第一训练参数压缩后进行交换获得第二训练参数，具体包括：将所述第一训练参数压缩后发送给同一节点内除自己外的每一个处理器，同时接收同一所述节点内除自己外的每一个所述处理器发送的压缩后的第三训练参数；将压缩后的所述第一训练参数和接收的压缩后的所述第三训练参数进行相加求平均值，获得所述第二训练参数；若所述处理器为根设备，将所述第二训练参数分别发送给集群中除自己外的每一个所述节点的根设备，同时接收所述集群中除自己外的每一个所述节点的根设备发送的第四训练参数；将所述第二训练参数和接收的第四训练参数进行相加求平均，获得第五训练参数；根据所述第五训练参数和已知的学习率进行计算获得第二权值，其中，所述第二权值用于对所述第一权值进行更新；采用所述第二权值更新所述第一权值，并将所述第二权值分别发送给所述根设备所在所述节点内除所述根设备外的每一个所述处理器。

6.一种服务器，其特征在于，包括

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至4任一项所述的深度学习的参数交换方法。

7.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4任一项所述的深度学习的参数交换方法。