[发明专利]模型训练方法及其节点、网络及存储装置

权利要求书

1.一种模型训练方法，其特征在于，所述方法应用于包含至少一组节点的去中心化网络中，其中，每组节点包括至少一个节点，至少部分所述节点用于训练得到所述模型的模型参数；

所述方法包括：

当前节点在本组内采用预设去中心化训练策略得到对所述模型的组内参数；

利用所述组内参数和与所述当前节点的组外邻居节点相对于所述当前节点的权重，得到对所述模型的模型参数。

2.根据权利要求1所述的方法，其特征在于，所述在本组内采用预设去中心化训练策略得到对所述模型的组内参数，包括：

利用自身前次迭代得到的模型参数，在本组内采用预设去中心化训练策略进行本次迭代训练，得到本次迭代对所述模型的组内参数；

所述利用所述组内参数和与所述当前节点的组外邻居节点相对于所述当前节点的权重，得到对所述模型的模型参数，包括：

利用所述当前节点在本次迭代对所述模型的组内参数和与所述当前节点的组外邻居节点相对于所述当前节点的权重，得到在本次迭代对所述模型的模型参数。

3.根据权利要求2所述的方法，其特征在于，所述预设去中心化训练策略包括基于gossip的训练策略、增量训练策略、共识训练策略或扩散训练策略。

4.根据权利要求3所述的方法，其特征在于，所述利用前次迭代得到的模型参数，在本组内采用扩散训练策略进行本次迭代训练，得到本次迭代对所述模型的组内参数，包括：

利用自身前次迭代得到的模型参数以及本次迭代的参考参数得到所述当前节点在本次迭代的初始参数；

根据所述当前节点在本次迭代的初始参数与本组其他节点在本次迭代的初始参数，得到所述当前节点在本次迭代对所述模型的组内参数。

5.根据权利要求4所述的方法，其特征在于，所述利用自身前次迭代得到的模型参数以及本次迭代的参考参数得到所述当前节点在本次迭代的初始参数，包括：

利用所述下列公式得到所述当前节点在本次迭代的初始参数Ψ_k，t；

Ψ_k，t＝w_k，t-1+u_kr_k，t(d_k，t-r_k，tw_k，t-1)

其中，本次为第t次迭代，前次为第t-1迭代，所述k为当前节点的序号，所述w_k，t-1为所述当前节点在前次迭代得到的模型参数，所述u_k，r_k，t，d_k，t为本次迭代的参考参数，其中所述u_k表示权重因子；所述r_k，t表示随机因子；所述d_k，t＝r_k，t·ρ+v_k，t，所述ρ为超参数，所述v_k，t为随机参数。

6.根据权利要求4所述的方法，其特征在于，所述根据所述当前节点在本次迭代的初始参数与本组其他节点在本次迭代的初始参数，得到所述当前节点在本次迭代对所述模型的组内参数，包括：

利用下列公式得到所述当前节点在本次迭代的组内参数Φ_k，t；

其中，本次为第t次迭代，所述k为当前节点的序号，所述G_k表示本组内节点的序号，所述g_l为本组内节点1相对于所述当前节点的权重，所述Ψ_l，t为本组内节点1在本次迭代的初始参数。

7.根据权利要求3所述的方法，其特征在于，所述利用前次迭代得到的模型参数，在本组内采用共识训练策略进行本次迭代训练，得到本次迭代对所述模型的组内参数，包括：

利用自身前次迭代得到的模型参数以及本组其他节点相对于当前节点的权重得到所述当前节点在本地迭代的初始参数；

根据所述当前节点在本次迭代的初始参数与本组迭代的参考参数，得到所述当前节点在本次迭代对所述模型的组内参数。