[发明专利]一种基于梯度下降法的数据处理方法及相关装置

权利要求书

1.一种基于梯度下降法的数据处理方法，应用于共享节点，其特征在于，所述数据处理方法包括：

计算获得当前节点的原始梯度；

对当前节点的原始梯度进行压缩，获得压缩梯度；

将所述压缩梯度发送至参数服务器，以使所述参数服务器根据各共享节点发送的压缩梯度计算梯度均值；

接收参数服务器发送的梯度均值以更新模型参数；

所述对当前节点的原始梯度进行压缩，包括对原始梯度进行梯度裁剪和梯度量化；

其中，所述梯度量化过程包括：根据梯度压缩需求设置目标比特值，所述目标比特值用于表示梯度压缩元素；对需要计算的梯度压缩元素取绝对值，并求出绝对值中的最大值；根据所述绝对值得出梯度压缩元素的符号性，所述符号为正负性；在0-所述最大值的范围内，生成所述需要计算的梯度压缩元素的随机均匀分布；筛选出绝对值大于随机均匀分布值的所述梯度压缩元素，并计算筛选出的梯度压缩元素的符号性，已计算出符号性的梯度压缩元素用于发送至所述服务器。

2.根据权利要求1所述的方法，其特征在于，所述梯度裁剪包括：根据梯度压缩需求设置裁剪参数，所述裁剪参数为比例参数。

3.根据权利要求2所述的方法，其特征在于，对所述原始梯度进行梯度裁剪包括：

对所有需计算的梯度裁剪元素取绝对值；

对取得的绝对值进行从大到小排列；

根据所述裁剪参数的值，取得比例内的最小的梯度裁剪元素的绝对值作为裁剪阈值；

筛选出绝对值大于所述裁剪阈值的梯度裁剪元素，所述梯度裁剪元素用于进行梯度压缩元素的筛选。

4.一种数据处理的装置，其特征在于，所述装置包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的数据处理的程序，所述数据处理的程序被所述处理器执行时实现如权利要求1-3任一项所述的方法。

5.根据权利要求4所述的装置，其特征在于，所述装置为组成CDN网络或者区块链网络的节点。

6.一种数据处理的系统，其特征在于，所述系统包括：

计算单元，用于计算获得当前节点的原始梯度；

压缩单元，对当前节点的原始梯度进行压缩，获得压缩梯度；

发送单元，将所述压缩梯度发送至参数服务器，以使所述参数服务器根据各共享节点发送的压缩梯度计算梯度均值；

接收单元，接收参数服务器发送的梯度均值以更新模型参数；

所述压缩单元，具体用于：对原始梯度进行梯度裁剪和梯度量化；

其中，所述梯度量化过程包括：根据梯度压缩需求设置目标比特值，所述目标比特值用于表示梯度压缩元素；对需要计算的梯度压缩元素取绝对值，并求出绝对值中的最大值；根据所述绝对值得出梯度压缩元素的符号性，所述符号为正负性；在0-所述最大值的范围内，生成所述需要计算的梯度压缩元素的随机均匀分布；筛选出绝对值大于随机均匀分布值的所述梯度压缩元素，并计算筛选出的梯度压缩元素的符号性，已计算出符号性的梯度压缩元素用于发送至所述服务器。

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有梯度压缩的程序，所述梯度压缩的程序可被一个或者多个处理器执行，以实现如权利要求1至3中任一项所述的梯度压缩的方法。