[发明专利]一种分布式训练参数更新方法、装置、设备及存储介质

说明书

本发明公开了一种分布式训练参数更新方法，包括：获取各个目标参数对应的当前参数值；对各个当前参数值进行有效性检测，并根据检测结果生成本地参数信息；获取各个其他训练单元分别对应的各个其他参数信息，并利用本地参数信息和其他参数信息生成更新参数信息；当检测到更新事件时，对更新参数信息对应的待更新参数进行更新；该方法通过有效性检测，可以确定各个目标参数是否有效，即是否需要被更新，并通过更新参数信息对需要被更新的目标参数进行更新，减少了参与训练的参数，进而减少了训练所需的时间，提高了训练效率；此外，本发明还提供了一种分布式训练参数更新装置、分布式训练参数更新设备及计算机可读存储介质，也具有上述有益效果。

技术领域

本发明涉及分布式训练技术领域，特别涉及一种分布式训练参数更新方法、分布式训练参数更新装置、分布式训练参数更新设备及计算机可读存储介质。

背景技术

分布式训练即为在多个分布式训练单元上的计算单元同时对网络模型进行训练，以便提高网络模型的训练速度。

相关技术在进行分布式训练时，为了保证各个训练单元的训练过程统一，需要在各个计算单元均训练结束，且得到目标节点的通知后对所有模型参数进行更新。对于大规模分布式深度学习训练任务，特别是复杂模型和大规模数据集训练任务，在训练过程中会存在大量的待更新模型的参数，参数和训练单元越多，训练和更新所需的时间就越长。随着训练次数的增加，训练的时间也会越长，训练效率较低。

因此，如何解决相关技术存在的训练时间长、训练效率低的问题，是本领域技术人员需要解决的技术问题。

发明内容

有鉴于此，本发明的目的在于提供一种分布式训练参数更新方法、分布式训练参数更新装置、分布式训练参数更新设备及计算机可读存储介质，解决了相关技术存在的训练时间长、训练效率低的问题。

为解决上述技术问题，本发明提供了一种分布式训练参数更新方法，包括：

获取各个目标参数对应的当前参数值；

对各个所述当前参数值进行有效性检测，并根据检测结果生成本地参数信息；

获取各个其他训练单元分别对应的各个其他参数信息，并利用所述本地参数信息和所述其他参数信息生成更新参数信息；

当检测到更新事件时，对所述更新参数信息对应的待更新参数进行更新。

可选地，所述对各个所述当前参数值进行有效性检测，并根据检测结果生成本地参数信息，包括：

判断所述当前参数值是否处于第一阈值区间；

若所述当前参数值处于所述第一阈值区间，则确定所述当前参数值对应的有效比特位为0；

若所述当前参数值不处于所述第一阈值区间，则获取历史参数值，并利用所述当前参数值和所述历史参数值计算参数差值；

判断所述参数差值是否处于第二阈值区间；

若所述参数差值处于所述第二阈值区间，则确定所述当前参数值对应的所述有效比特位为0；

若所述参数差值不处于所述第二阈值区间，则确定所述当前参数值对应的所述有效比特位为1；

利用各个所述目标参数对应的所述有效比特位构成所述本地参数信息。

可选地，所述利用所述本地参数信息和所述其他参数信息生成更新参数信息，包括：

利用各个所述其他参数信息与所述本地参数信息进行逐位或计算，得到所述更新参数信息。

可选地，在所述对所述更新参数信息对应的待更新参数进行更新之后，还包括：

利用各个所述待更新参数的所述当前参数值，对所述待更新参数对应的历史参数值进行更新；