[发明专利]分布式数据处理方法、装置、计算机设备及存储介质

权利要求书

1.一种分布式数据处理方法，其特征在于，所述方法由分布式系统中的中心节点设备执行，所述分布式系统中包含所述中心节点设备与至少两个边缘节点设备；所述方法包括：

向所述至少两个边缘节点设备发送全局模型参数；所述全局模型参数是部署于所述中心节点设备的第一模型的参数；

接收所述至少两个边缘节点设备分别通过异步通信方式发送的稀疏梯度；所述稀疏梯度是所述至少两个边缘节点设备对各自的边缘节点梯度进行稀疏化处理得到的；所述边缘节点梯度是对应的边缘节点设备基于所述全局模型参数对第二模型进行初始化后，通过对应边缘节点设备上的训练数据集对所述第二模型进行训练得到的梯度；所述边缘节点梯度用于，当一次训练完成后对所述第二模型的参数进行更新；

基于所述至少两个边缘节点设备分别发送的稀疏梯度获取中间模型参数；

基于梯度权重，对更新前的全局模型参数以及所述中间模型参数进行加权处理，获得更新后的所述全局模型参数；所述梯度权重用于指示更新前的所述全局模型参数与所述中间模型参数的加权比重。

2.根据权利要求1所述的方法，其特征在于，所述基于所述至少两个边缘节点设备分别发送的稀疏梯度获取中间模型参数，包括：

对所述至少两个边缘节点设备分别发送的稀疏梯度进行累加，获得累加稀疏梯度；

基于所述累加稀疏梯度以及学习率，获得所述中间模型参数。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

响应于所述全局模型参数的更新次数达到第一次数阈值，通过中心节点设备中的验证集对所述第一模型进行验证，获得验证误差；所述验证误差用于指示所述第二模型的预测结果与所述验证集中的标签之间的误差；

根据所述验证误差，更新所述梯度权重。

4.根据权利要求1所述的方法，其特征在于，所述基于梯度权重，对更新前的所述全局模型参数以及所述中间模型参数进行加权处理，获得更新后的所述全局模型参数之前，还包括：

基于所述至少两个边缘节点设备分别发送的稀疏梯度，更新所述梯度权重。

5.根据权利要求1至4任一所述的方法，其特征在于，所述方法还包括：

响应于所述全局模型参数的更新次数达到第二次数阈值，向所述至少两个边缘节点设备发送更新后的所述全局模型参数。

6.一种分布式数据处理方法，其特征在于，所述方法由分布式系统中的边缘节点设备执行，所述分布式系统中包含中心节点设备与至少两个边缘节点设备，所述方法包括：

接收所述中心节点设备发送的全局模型参数，所述全局模型参数是部署于所述中心节点设备的第一模型的参数；

基于所述全局模型参数对第二模型进行初始化；

通过所述边缘节点设备上的训练数据集对所述第二模型进行训练，获得边缘节点梯度；所述边缘节点梯度用于，当一次训练完成后对所述第二模型的参数进行更新；

对所述边缘节点梯度进行稀疏化处理，得到稀疏梯度；

通过异步通信方式向所述中心节点设备发送所述稀疏梯度，以便所述中心节点设备基于所述至少两个边缘节点设备分别发送的稀疏梯度获取中间模型参数；基于梯度权重，对更新前的全局模型参数以及所述中间模型参数进行加权处理，获得更新后的所述全局模型参数；所述梯度权重用于指示更新前的所述全局模型参数与所述中间模型参数的加权比重。

7.根据权利要求6所述的方法，其特征在于，所述边缘节点梯度包含至少两次迭代训练得到的梯度数据；

所述对所述边缘节点梯度进行稀疏化处理，得到稀疏梯度，包括：

将至少两次迭代训练得到的所述梯度数据进行累加处理，获得累加梯度；

对所述累加梯度进行稀疏化处理，获得所述稀疏梯度。

8.根据权利要求7所述的方法，其特征在于，所述将至少两次迭代训练得到的所述梯度数据进行累加处理，获得累加梯度，包括：

按照对应的迭代训练的顺序，基于权重参数对至少两次迭代训练得到的所述梯度数据依次进行累加，获得所述累加梯度；所述权重参数用于指示所述梯度数据对所述全局模型参数进行更新时所占的比重。