[发明专利]确定超参的方法、训练联邦学习模型的方法及电子设备

权利要求书

1.一种确定超参的方法，其特征在于，包括：

通过训练联邦学习模型，确定出第一耗时和第二耗时；

基于所述第一耗时、所述第二耗时、设定损失函数对应的设定梯度精度以及第一参数，确定出第一超参和/或第二超参；其中，

所述第一耗时表征训练节点计算一个样本的梯度消耗的时长；所述第二耗时表征第一时刻至第二时刻的时长；所述第一时刻表征所述训练节点向聚合节点上传第二参数的时刻；所述第二时刻表征所述训练节点从所述聚合节点成功下载对应聚合后的第三参数的时刻；第一参数表征用于计算所述联邦学习模型的收敛上界的参数；第一超参表征一次迭代训练使用的样本的数量；第二超参表征上传第二参数的迭代次数间隔。

2.根据权利要求1所述的方法，其特征在于，所述基于所述第一耗时、所述第二耗时、设定损失函数对应的设定梯度精度以及第一参数，确定出第一超参和/或第二超参，包括：

基于设定损失函数对应的设定梯度精度以及第一参数，确定出总迭代次数的限制条件；所述限制条件表征设定梯度精度、参与训练所述联邦学习模型的训练节点的总数、第一超参以及第二超参之间的相关关系；

基于确定出的限制条件，以及基于训练总耗时与所述第一耗时、所述第二耗时、总迭代次数、第一超参以及第二超参之间的相关关系，确定出训练总耗时最小时对应的第一超参和/或第二超参。

3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

通过设定的第一系数调整所述第一超参和/或所述第二超参，得到调整后的第一超参和/或调整后的第二超参。

4.根据权利要求3所述的方法，其特征在于，所述通过设定的第一系数调整所述第一超参和/或所述第二超参时，所述方法还包括：

基于调整后的第一超参和/或调整后的第二超参，对联邦学习模型进行再次训练；

在再次训练至联邦学习模型未收敛且满足第一设定条件的情况下，调整所述第一系数；所述第一设定条件表征达到设定的总迭代次数或超过设定训练总耗时。

5.根据权利要求4所述的方法，其特征在于，所述确定出第一超参和/或第二超参时，所述方法还包括：

基于至少一个第一训练总耗时对应的第一超参和/或第二超参，确定出最小的第一训练总耗时对应的第一超参和/或第二超参；其中，

第一训练总耗时表征在联邦学习模型收敛的情况下对应的训练总耗时。

6.一种训练联邦学习模型的方法，其特征在于，包括：

基于第一超参和/或第二超参，对联邦学习模型进行训练；其中，

所述第一超参和/或所述第二超参为采用如权利要求1至5任一项所述的确定超参的方法确定出的超参。

7.一种电子设备，其特征在于，包括：

第一确定单元，用于通过训练联邦学习模型，确定出第一耗时和第二耗时；

第二确定单元，用于基于所述第一耗时、所述第二耗时、设定损失函数对应的设定梯度精度以及第一参数，确定出第一超参和/或第二超参；其中，

所述第一耗时表征训练节点计算一个样本的梯度消耗的时长；所述第二耗时表征第一时刻至第二时刻的时长；所述第一时刻表征所述训练节点向聚合节点上传第二参数的时刻；所述第二时刻表征所述训练节点从所述聚合节点成功下载对应聚合后的第三参数的时刻；第一参数表征用于计算所述联邦学习模型的收敛上界的参数；第一超参表征一次迭代训练使用的样本的数量；第二超参表征上传第二参数的迭代次数间隔。

8.一种电子设备，其特征在于，包括：

训练单元，用于基于第一超参和/或第二超参，对联邦学习模型进行训练；其中，所述第一超参和/或所述第二超参为采用如权利要求1至5任一项所述的确定超参的方法确定出的超参。