[发明专利]分布式系统中的数据传输方法、装置、设备及存储介质

权利要求书

1.一种分布式系统中的数据传输方法，其特征在于，所述方法由分布式系统中的边缘节点设备执行，所述分布式系统中包含中心节点设备与至少两个所述边缘节点设备，所述方法包括：

在所述边缘节点设备中对梯度训练模型进行训练，获得原始梯度；

对所述原始梯度中的各个梯度数据进行聚类，获得至少两个梯度数据簇；

以所述至少两个梯度数据簇的质心值为目标，对所述至少两个梯度数据簇中的梯度数据进行更新，生成所述原始梯度的压缩梯度；所述压缩梯度中包含分簇信息以及所述至少两个梯度数据簇的质心值；所述分簇信息用于指示所述各个梯度数据所属的梯度数据簇；

将所述压缩梯度发送给所述中心节点设备。

2.根据权利要求1所述的方法，其特征在于，所述对所述原始梯度中的各个梯度数据进行聚类，获得至少两个梯度数据簇，包括：

对所述各个梯度数据的绝对值进行第一次聚类，获得i个梯度数据簇；i≥2，且i为整数；

将所述i个梯度数据簇划分为过渡数据簇和非过渡数据簇；所述过渡数据簇中的任意一个数据簇的质心值，大于所述非过渡数据簇中的任意一个数据簇的质心值；

对所述过渡数据簇中的各个数据簇分别进行第二次聚类，获得所述各个数据簇分别对应的m个梯度数据簇；

将所述非过渡数据簇，以及所述各个数据簇分别对应的m个梯度数据簇获取为所述至少两个梯度数据簇。

3.根据权利要求2所述的方法，其特征在于，所述将所述i个梯度数据簇划分为过渡数据簇和非过渡数据簇，包括：

获取质心阈值；

将所述i个梯度数据簇中，对应的质心值大于所述质心阈值的数据簇划分为所述过渡数据簇；

将所述i个梯度数据簇中，对应的质心值不大于所述质心阈值的数据簇划分为所述非过渡数据簇。

4.根据权利要求3所述的方法，其特征在于，所述获取质心阈值，包括：

基于所述各个梯度数据的绝对值的平均值，获取所述质心阈值。

5.根据权利要求2所述的方法，其特征在于，所述对所述过渡数据簇中的各个数据簇分别进行第二次聚类，获得所述各个数据簇分别对应的m个梯度数据簇，包括：

获取聚类参数，所述聚类参数用于指示聚类后的数据簇的数量m；

基于所述聚类参数，对所述过渡数据簇中的各个数据簇分别进行第二次聚类，获得所述各个数据簇分别对应的m个梯度数据簇。

6.根据权利要求5所述的方法，其特征在于，所述获取聚类参数，包括：

接收所述中心节点设备发送的所述聚类参数；

其中，所述聚类参数是基于所述中心节点设备的通信负载，以及所述梯度训练模型的模型精度需求确定的。

7.根据权利要求5所述的方法，其特征在于，所述获取聚类参数，包括：

基于所述过渡数据簇中的各个数据簇各自包含的梯度数据的数量，获取所述聚类参数。

8.一种分布式系统中的数据传输装置，其特征在于，所述装置用于分布式系统中的边缘节点设备，所述分布式系统中包含中心节点设备与至少两个所述边缘节点设备，所述装置包括：

原始梯度获取模块，用于在所述边缘节点设备中对梯度训练模型进行训练，获得原始梯度；

梯度数据簇获取模块，用于对所述原始梯度中的各个梯度数据进行聚类，获得至少两个梯度数据簇；

压缩梯度获取模块，用于以所述至少两个梯度数据簇的质心值为目标，对所述至少两个梯度数据簇中的梯度数据进行更新，生成所述原始梯度的压缩梯度；所述压缩梯度中包含分簇信息以及所述至少两个梯度数据簇的质心值；所述分簇信息用于指示所述各个梯度数据所属的梯度数据簇；

压缩梯度发送模块，用于将所述压缩梯度发送给所述中心节点设备。