[发明专利]一种分布式训练参数更新方法、装置、设备及存储介质

权利要求书

1.一种分布式训练参数更新方法，其特征在于，包括：

获取各个目标参数对应的当前参数值；

对各个所述当前参数值进行有效性检测，并根据检测结果生成本地参数信息；

获取各个其他训练单元分别对应的各个其他参数信息，并利用所述本地参数信息和所述其他参数信息生成更新参数信息；

当检测到更新事件时，对所述更新参数信息对应的待更新参数进行更新；

所述对各个所述当前参数值进行有效性检测，并根据检测结果生成本地参数信息，包括：

判断所述当前参数值是否处于第一阈值区间；

若所述当前参数值处于所述第一阈值区间，则确定所述当前参数值对应的有效比特位为0；

若所述当前参数值不处于所述第一阈值区间，则获取历史参数值，并利用所述当前参数值和所述历史参数值计算参数差值；

判断所述参数差值是否处于第二阈值区间；

若所述参数差值处于所述第二阈值区间，则确定所述当前参数值对应的所述有效比特位为0；

若所述参数差值不处于所述第二阈值区间，则确定所述当前参数值对应的所述有效比特位为1；

利用各个所述目标参数对应的所述有效比特位构成所述本地参数信息；

所述利用所述本地参数信息和所述其他参数信息生成更新参数信息，包括：

利用各个所述其他参数信息与所述本地参数信息进行逐位或计算，得到所述更新参数信息；

所述当检测到更新事件，包括：

判断是否存在第一状态缓存；

若存在，则更新所述第一状态缓存，并更新各个分别位于所述其他训练单元中的第二状态缓存；

若不存在，则向目标节点发送更新请求，并获取所述目标节点发送的所述第一状态缓存；

当检测到所述第一状态缓存处于目标状态时，确定检测到所述更新事件。

2.根据权利要求1所述的分布式训练参数更新方法，其特征在于，在所述对所述更新参数信息对应的待更新参数进行更新之后，还包括：

利用各个所述待更新参数的所述当前参数值，对所述待更新参数对应的历史参数值进行更新；

利用各个未更新参数对应的所述历史参数值，对所述未更新参数对应的所述当前参数值进行更新；

将所述待更新参数确定为所述目标参数。

3.根据权利要求1所述的分布式训练参数更新方法，其特征在于，在所述根据检测结果生成本地参数信息之后，还包括：

将所述本地参数信息发送给所述其他训练单元；

相应的，所述获取各个其他训练单元分别对应的其他参数信息，包括：

获取各个所述其他训练单元发送的所述其他参数信息。

4.根据权利要求1所述的分布式训练参数更新方法，其特征在于，所述当检测到更新事件，包括：

当检测到所述目标节点发送的更新指令后，确定检测到所述更新事件。