[发明专利]机器学习模型的分布式训练方法及装置、电子设备、介质

权利要求书

1.一种机器学习模型的分布式训练方法，其特征在于，应用于子节点，该方法包括：

获取机器学习模型分布式训练过程中产生的梯度向量；

采用梯度键值对表示所述梯度向量中的非零元素，所述梯度键值对包括梯度键和梯度值；

保留绝对值大于设定阈值的所述梯度值；

通过倒数映射的方式，将保留的梯度值转化为梯度倒数值；

将所述梯度倒数值进行对数量化，得到梯度量化整数，作为压缩的梯度值；

根据保留的梯度值对应的梯度键求相邻梯度键的增量，获得增量梯度键；

根据所述增量梯度键，得到长度标志位；

对所述增量梯度键根据对应长度标志位进行二进制编码，组合长度标志位和二进制编码得到压缩的梯度键；

将所述压缩的梯度值和梯度键发送给主节点，以使得所述主节点将所有子节点发送的所述压缩的梯度值和梯度键进行解压，并将解压后的梯度值和梯度键进行聚合，得到更新后的梯度向量；

接收所述更新后的梯度向量，进行所述机器学习模型更新;

其中通过倒数映射的方式，将保留的梯度值转化为梯度倒数值，包括：

对所述保留的梯度值，进行所有梯度值绝对值的求和；

将求得的梯度值绝对值之和除以单个所述保留的梯度值，以得到对应梯度值的梯度倒数值；

将所述梯度倒数值进行对数量化，得到梯度量化整数，包括：

对所述梯度倒数值，利用给定底数取得对应对数值；

通过取上整操作将所述对数值转化为量化整数；

若所述梯度倒数值对应的梯度值为负数，则为所述量化整数分配一个负号标记，得到量化整数；

根据保留的梯度值对应的梯度键求相邻梯度键的增量，获得增量梯度键，包括：

将保留的梯度值对应的梯度键分为最小的梯度键和其余梯度键，其中所述最小的梯度键用本身作为增量梯度键，所述其余梯度键均与前一个梯度键计算差值，得到增量梯度键；

根据所述增量梯度键，得到长度标志位，包括：

根据所述增量梯度键的最大值，得到各长度标志位的表示范围；

根据所述增量梯度键大小以及各长度标志位的表示范围，得到所述增量梯度键对应最小长度的长度标志位。

2.根据权利要求1所述的方法，其特征在于，还包括：

获取更新后的机器学习模型分布式训练过程中产生的梯度向量，重复分布式训练，直到所述机器学习模型训练收敛。