[发明专利]确定超参的方法、训练联邦学习模型的方法及电子设备

说明书

本申请公开了一种确定超参的方法、训练联邦学习模型的方法及电子设备，其中，确定超参的方法包括：通过训练联邦学习模型，确定出第一耗时和第二耗时；基于第一耗时、第二耗时、设定损失函数对应的设定梯度精度以及第一参数，确定出第一超参和/或第二超参；其中，第一耗时表征训练节点计算一个样本的梯度消耗的时长；第二耗时表征第一时刻至第二时刻的时长；第一时刻表征所述训练节点向聚合节点上传第二参数的时刻；第二时刻表征所述训练节点从所述聚合节点成功下载对应聚合后的第三参数的时刻；第一参数表征用于计算所述联邦学习模型的收敛上界的参数；第一超参表征一次迭代训练使用的样本的数量；第二超参表征上传第二参数的迭代次数间隔。

技术领域

本申请涉及人工智能技术领域，尤其涉及一种确定超参的方法、训练联邦学习模型的方法及电子设备。

背景技术

联邦学习旨在不共享数据样本的情况下，建立一个基于分布数据集的联邦学习模型。相关技术中，基于联邦平均(FedAvg，Federated Averaging)算法进行横向联邦学习的情况下，需要人工调节超参来调整训练时长，但人工设置的超参不合适，导致联邦学习模型的训练时间过长。其中，横向联邦学习的训练节点拥有的数据样本不同。超参是指在模型训练前，人为设定的参数。

发明内容

有鉴于此，本申请实施例提供确定超参的方法、训练联邦学习模型的方法及电子设备，以解决相关技术中因人工设置的超参不合适，导致联邦学习模型的训练时间过长的技术问题。

为达到上述目的，本申请的技术方案是这样实现的：

本申请实施例提供了一种确定超参的方法，包括：

通过训练联邦学习模型，确定出第一耗时和第二耗时；

基于所述第一耗时、所述第二耗时、设定损失函数对应的设定梯度精度以及第一参数，确定出第一超参和/或第二超参；其中，

所述第一耗时表征训练节点计算一个样本的梯度消耗的时长；所述第二耗时表征第一时刻至第二时刻的时长；所述第一时刻表征所述训练节点向聚合节点上传第二参数的时刻；所述第二时刻表征所述训练节点从所述聚合节点成功下载对应聚合后的第三参数的时刻；第一参数表征用于计算所述联邦学习模型的收敛上界的参数；第一超参表征一次迭代训练使用的样本的数量；第二超参表征上传第二参数的迭代次数间隔。

上述方案中，所述基于所述第一耗时、所述第二耗时、设定损失函数对应的设定梯度精度以及第一参数，确定出第一超参和/或第二超参，包括：

基于设定损失函数对应的设定梯度精度以及第一参数，确定出总迭代次数的限制条件；所述限制条件表征设定梯度精度、参与训练所述联邦学习模型的训练节点的总数、第一超参以及第二超参之间的相关关系；

基于确定出的限制条件，以及基于训练总耗时与所述第一耗时、所述第二耗时、总迭代次数、第一超参以及第二超参之间的相关关系，确定出训练总耗时最小时对应的第一超参和/或第二超参。

上述方案中，所述方法还包括：

通过设定的第一系数调整所述第一超参和/或所述第二超参，得到调整后的第一超参和/或调整后的第二超参。

所述通过设定的第一系数调整所述第一超参和/或所述第二超参时，所述方法还包括：

基于调整后的第一超参和/或调整后的第二超参，对联邦学习模型进行再次训练；

在再次训练至联邦学习模型未收敛且满足第一设定条件的情况下，调整所述第一系数；所述第一设定条件表征达到设定的总迭代次数或达到设定训练总耗时。

上述方案中，所述确定出第一超参和/或第二超参时，所述方法还包括：

基于至少一个第一训练总耗时对应的第一超参和/或第二超参，确定出最小的第一训练总耗时对应的第一超参和/或第二超参；其中，