[发明专利]一种基于参数压缩的业务模型联合更新方法及系统

说明书

本说明书实施例提供一种基于参数压缩的业务模型联合更新方法及系统，在更新业务模型的方法中，服务器在判断本轮迭代的轮次为预设的目标轮次时，基于相邻两轮的学习率或者参数的变化幅度，判断模型更新过程是否进入到了关键阶段。在还没有进入关键阶段时，服务器向每个参与方发送对应于k个维度的k个指示信息，其中的每个指示信息是服务器根据从n个参与方接收的n份局部参数向量的每个维度的收敛情况确定的，用于指示在本轮以及后续的若干轮迭代中是否对对应维度进行压缩。由此使得每个参与方在本轮以及后续的若干轮迭代中，对确定的局部参数向量中已经收敛或接近收敛的维度进行压缩，并将得到的数据量变小的目标参数向量提供给服务器。

技术领域

本说明书一个或多个实施例涉及机器学习领域，尤其涉及一种基于参数压缩的业务模型联合更新方法及系统。

背景技术

大宗商品供应链集成服务企业集团因产业多元化、业务规模庞大，且覆盖采购、制造、分销、仓储、物流、配送、融资等集成服务全流程，沉淀、积累了海量的业务数据和财务数据，为充分挖掘数据价值赋能业务运营提高企业效率，我们会基于海量的业务数据和财务数据，采用分布式学习的方法来更新业务模型。在这种情况下，多参与方联合更新模型是最广泛采用的方法，需要在每轮迭代中结合各梯度或者模型参数（统称为参数）更新。然而在如此大的参数范围内频繁传递参数会影响模型的更新效率。因此，如何在大规模集群中，高效更新模型成为重点关注的问题。为了缓解通信瓶颈，部分方案提出增加样本批量的大小，即由每个参与方基于大批量样本计算参数，从而减少每轮迭代的通信频率。本方案中，对模型更新过程中的关键阶段进行识别，从而在保证模型精度的同时，大幅度降低通信量。

发明内容

本说明书一个或多个实施例描述了一种基于参数压缩的业务模型联合更新方法及系统，可以在保证模型精度的同时，大幅度降低通信量。

第一方面，提供了一种基于参数压缩的业务模型联合更新方法，包括：

每个参与方i，根据本地样本集和业务模型的本地模型参数，确定具有k个维度的局部参数向量，并将其提供给所述服务器；

所述服务器，在所述t等于预设的目标轮次的情况下，并行进行第一条件的判断和维度收敛检测；

所述第一条件包括：第t+1轮学习率与第t轮学习率之比小于学习率阈值，或者，第t轮聚合参数向量与第t-1轮聚合参数向量的目标距离不小于距离阈值；所述第t轮聚合参数向量，通过聚合所述n个参与方发送的n份局部参数向量而得到；

所述维度收敛检测包括：对所述n份局部参数向量对应于每个维度j的n个元素值进行求平均和求方差，并根据对每个维度j计算的平均值和方差值，确定对应于每个维度j的信噪比，该信噪比用于指示对应维度的收敛情况；以及将每个维度j对应的信噪比与占比阈值进行大小比较，得到对应的指示信息，该指示信息用于指示在本轮以及后续的若干轮迭代中是否对维度j进行压缩处理；

所述服务器，在所述第一条件不满足的情况下，向每个参与方i发送对应于所述k个维度的k个指示信息；

每个参与方i，根据所述k个指示信息，对对应的局部参数向量的每个维度j进行压缩或不压缩处理，得到目标参数向量，并将其提供给所述服务器；

所述服务器，基于所述n个参与方发送的n份目标参数向量，获取所述业务模型的第一更新参数，并将其下发至每个参与方i，以供每个参与方i基于所述第一更新参数，更新其本地模型参数，以用于下一轮迭代。

第二方面，提供了一种基于参数压缩的业务模型联合更新系统，包括：

每个参与方i，用于根据本地样本集和业务模型的本地模型参数，确定具有k个维度的局部参数向量，并将其提供给所述服务器；

所述服务器，用于在所述t等于预设的目标轮次的情况下，并行进行第一条件的判断和维度收敛检测；