[发明专利]一种模型梯度更新方法及装置

权利要求书

1.一种模型梯度更新方法，其特征在于，应用于中心服务器，包括：

中心服务器重复执行梯度更新过程，直至满足停止条件；其中，一次所述梯度更新过程包括：

接收多个节点分别发送的第一梯度，所述第一梯度为每个节点采用样本数据对节点中的待训练的模型进行一次或多次训练得到；基于多个第一梯度和本次梯度更新过程中的每个节点的概率得到第二梯度，所述本次梯度更新过程中的每个节点的概率为Actor-Critic网络基于上一次梯度更新过程中的每个节点的概率确定的；将所述第二梯度分别发送给所述多个节点，以使所述多个节点采用所述第二梯度对各自的待训练的模型的权重进行更新。

2.如权利要求1所述的方法，其特征在于，所述Actor-Critic网络包括Actor网络、至少一个Critic网络、及奖励函数；

所述奖励函数用于基于上一次梯度更新过程中确定的所述多个节点的概率，确定奖励值，并将奖励值传输至所述至少一个Critic网络；

所述至少一个Critic网络用于确定目标Q值，并将所述目标Q值传输至所述Actor网络；

所述Actor网络用于基于所述目标Q值确定本次梯度更新过程中的每个节点的概率。

3.如权利要求2所述的方法，其特征在于，所述目标Q值为多个Critic网络确定的Q值中的最小Q值。

4.如权利要求2所述的方法，其特征在于，奖励函数满足：

其中，A为第一准确率，B为第二准确率，g大于或等于1，其中，第一准确率为所述中心服务器与所述多个节点基于联邦平均学习算法得到的训练完成的模型的准确率；第二准确率为所述多个节点分别发送的第三准确率的平均值，所述第三准确为与所述第一梯度在所述节点采用样本数据对所述节点中的待训练的模型进行同一次模型训练中得到的。

5.如权利要求4所述的方法，其特征在于，当大于1时，g大于1；当小于或等于1时，g为1。

6.如权利要求2所述的方法，其特征在于，所述Actor-Critic网络包括3个Critic网络，针对任一Critic网络，在本次梯度更新过程中确定的Q值基于Q值梯度和上一次梯度更新过程中确定的Q值确定，所述Q值梯度基于第一参数确定，所述第一参数满足以下公式：

其中，

其中，J为所述第一参数；t为本次梯度更新的次数；k0，l＞0，k+l＝1；θ₁，θ₂，θ₃分别表示3个Critic网络，θ_i为θ₁，θ₂，θ₃分别表示3个Critic网络最新确定出的Q值中的最小值对应的网络；s_t为第t次梯度更新过程中的状态；a_t为第t次梯度更新过程中所述多个节点的概率；为第t次梯度更新过程中θ_i对应的Critic网络在s_t,a_t情况下确定的Q值；为第t次梯度更新过程中θ₃对应的Critic网络在s_t,a_t情况下输出的Q值；r(s_t,a_t)为第t次梯度更新过程中在s_t,a_t情况下的奖励值；γ大于0；π_t(a_t|s_t)为在s_t下做出a_t的概率；q为熵的指数,ln_q为熵，α_t不为0。

7.如权利要求6所述的方法，其特征在于，在本次梯度更新过程中采用的α基于α梯度和上一次梯度更新过程中采用的α确定，所述α梯度满足以下公式：

其中，J(α)为α梯度，α_t-1为上一次梯度更新采用的α，H为理想的最小期望熵。