[发明专利]深度学习权重更新方法、装置

权利要求书

1.一种深度学习权重更新方法，其特征在于，包括：

将前向和后向计算产生的权重梯度分解成多个片段；

每一个片段与其对应的片段进行集合通信；

在所述片段的集合通信结束时进行所述片段对应的权重梯度更新；

直到所述多个片段的权重梯度更新完毕。

2.根据权利要求1所述的方法，其特征在于，将前向和后向计算产生的权重梯度分解成多个片段之前，还包括：

将中央处理器上的单精度主权重参数转换为图形处理器上的半精度权重参数；

将所述图形处理器上的半精度权重参数进行深度学习的前向和后向操作，产生所述图形处理器上的半精度权重梯度。

3.根据权利要求1所述的方法，其特征在于，每一个片段与其对应的片段为同一个片段，且分布在不同机器上，每台机器有多个集合通信线程用于每个片段与其他机器上对应的片段进行并行地集合通信。

4.根据权利要求3所述的方法，其特征在于，每一个片段对应所述图形处理器上所述片段对应的半精度权重梯度；

每一个片段与其对应的片段进行集合通信之后，还包括：

将所述片段在图形处理器上对应的半精度权重梯度转换为中央处理器上对应的单精度权重梯度。

5.根据权利要求4所述的方法，其特征在于，在所述片段的集合通信结束时进行所述片段对应的权重梯度更新，包括：

根据所述片段在中央处理器上对应的单精度权重梯度和所述中央处理器上的该片段对应的单精度主权重参数进行所述片段在中央处理器上对应的权重更新操作，产生该片段在中央处理器上新的单精度主权重参数。

6.一种深度学习权重更新装置，其特征在于，包括：

分解模块，用于将前向和后向计算产生的权重梯度分解成多个片段；

通信模块，用于每一个片段与其对应的片段进行集合通信；

更新模块，用于在所述片段的集合通信结束时进行所述片段对应的权重梯度更新；直到所述多个片段的权重梯度更新完毕。

7.根据权利要求6所述的装置，其特征在于，还包括：

转换模块，用于将中央处理器上的单精度主权重参数转换为图形处理器上的半精度权重参数；

生成模块，用于将所述图形处理器上的半精度权重参数进行深度学习的前向和后向操作，产生所述图形处理器上的半精度权重梯度。

8.根据权利要求6所述的装置，其特征在于，每一个片段与其对应的片段为同一个片段，且分布在不同机器上，每台机器有多个集合通信线程用于每个片段与其他机器上对应的片段进行并行地集合通信。

9.根据权利要求8所述的装置，其特征在于，每一个片段对应所述图形处理器上所述片段对应的半精度权重梯度；

所述转换模块，还用于将所述片段在图形处理器上对应的半精度权重梯度转换为中央处理器上对应的单精度权重梯度。

10.根据权利要求9所述的装置，其特征在于，所述更新模块，具体用于根据所述片段在中央处理器上对应的单精度权重梯度和所述中央处理器上的该片段对应的单精度主权重参数进行所述片段在中央处理器上对应的权重更新操作，产生该片段在中央处理器上新的单精度主权重参数。

11.一种服务器，其特征在于，包括：存储器、处理器以及通信组件；

所述存储器，用于存储计算机程序；

所述处理器，与所述存储器和所述通信组件耦合，用于执行计算机程序，以用于执行权利要求1-5中任一项所述的方法所述的步骤或操作。

12.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被计算机执行时能够实现如权利要求1-5中任一项方法所述的步骤或操作。