[发明专利]广域网跨数据中心分布式学习模型参数更新方法及装置

权利要求书

1.一种广域网跨数据中心分布式学习模型参数更新方法，其特征在于，包括：

将模型及训练数据都拆分部署在N台worker machine上；

在每台参数服务器上设置相同的参数重要性评估器，所述参数重要性评估器包括三个参数：模型收敛固定参数T_f、网络带宽门限值T_b以及参数重要性动态门限值T_d；

开始进行分布式机器学习模型训练。

2.根据权利要求1所述的广域网跨数据中心分布式学习模型参数更新方法，其特征在于，通过设定T_f保证模型训练收敛，具体的：设置最小T_f值，当worker machine更新参数Δx大于T_f时，允许参数服务器更新参数。

3.根据权利要求2所述的广域网跨数据中心分布式学习模型参数更新方法，其特征在于，所述T_f根据模型大小及训练数据分布手动设置，当模型偏大或训练数据方差偏小时将T_f设置偏小，当模型偏小或训练数据方差偏大时将T_f设置偏大。

4.根据权利要求1所述的广域网跨数据中心分布式学习模型参数更新方法，其特征在于，通过设定T_b保证广域网间最小通信损耗，具体的：设置最大T_b值，当worker machine与参数服务器间数据传输速率大于T_b时，暂停该参数服务器与其他参数服务器在广域网间的通信。

5.根据权利要求4所述的广域网跨数据中心分布式学习模型参数更新方法，其特征在于，所述T_b根据环境中广域网间的通讯能力手动设置，当广域网间的带宽较小时设置较小T_b，当广域网间的带宽较大时设置较大T_b。

6.根据权利要求1所述的广域网跨数据中心分布式学习模型参数更新方法，其特征在于，通过设定T_d过滤不重要参数，具体的：设置动态T_d值，当worker machine更新参数Δx大于T_d时，允许参数服务器更新参数。

7.根据权利要求6所述的广域网跨数据中心分布式学习模型参数更新方法，其特征在于，所述T_d的具体设置方式包括：

手动设置单位时间t，将模型训练总时间T按单位时间t平均分为n等份，即训练总时间T＝{t₁,t₂,t₃,…,t_n}；

t₁时刻，参数服务器收集数据中心内所有worker machine的更新参数X₁(i)＝{x₁₁,x₁₂,x₁₃,…,x_1i,…,x_1n}，求X₁的一阶矩二阶矩其中P(x)为X₁中x_1i的概率密度函数，此时设置α为限制系数，α∈(0,1)，并令一阶矩平均预测值二阶矩平均预测值

从t₂时刻起，在第m轮单位时间窗结束时，参数服务器收集数据中心内所有workermachine的更新参数X_m(i)＝{x_m1,x_m2,x_m3,…,x_mi,…,x_mn},求此时X_m的一阶矩和二阶矩更新其中，β₁和β₂为加权系数，β₁,β₂∈(0,1)，然后对及进行修正，得最后更新其中，γ为从训练模型获得的训练模型的学习率，γ∈(10^-6,1)。