[发明专利]一种基于联邦学习的超参数确定方法及装置

说明书

本说明书实施例提供一种基于联邦学习的超参数确定方法及装置。该方法用于确定业务预测模型的超参数，该业务预测模型的多个计算层被划分为包含连续后M个计算层的第一部分模型和包含剩余计算层的第二部分模型，第一部分模型部署在服务器中，第二部分模型部署在多个训练成员中。在任意一次超参迭代过程中，服务器将第一超参数组中的多个超参数向量分别发送至对应的训练成员，并与多个训练成员之间，多次执行针对业务预测模型的模型迭代过程，在多次模型迭代过程完成后，利用安全聚合算法，基于多个训练成员利用各自的测试集得到的业务预测模型的分立预测性能值，确定聚合预测性能值，基于聚合预测性能值，更新第一超参数组。

技术领域

本说明书一个或多个实施例涉及机器学习技术领域，尤其涉及一种基于联邦学习的超参数确定方法及装置。

背景技术

随着人工智能技术的发展，神经网络已逐渐应用于风险评估、语音识别、自然语言处理等领域。不同应用场景下的神经网络结构已经相对固定，为了实现更好的模型性能，需要更多的训练数据。在医疗、服务等领域，不同的企业或机构拥有不同的数据样本，一旦将这些数据样本进行联合训练，将在很大程度上提升模型精度。然而，不同企业或机构拥有的数据样本通常包含大量的用户隐私和商业机密，它们之间无法直接分享数据样本。联邦学习的模型训练方式，很好地解决了不同企业或机构之间既要联合训练，又要保护数据隐私的问题。在联邦学习的应用场景下，为了进一步提高模型精度，可以进一步优化模型的超参数。

因此，希望能有改进的方案，可以在联邦学习场景下，在保护训练成员的隐私数据的要求下，确定更加准确的模型超参数，进而提高模型性能。

发明内容

本说明书一个或多个实施例描述了基于联邦学习的超参数确定方法及装置，以便在联邦学习场景下，在保护训练成员的隐私数据的要求下，确定更加准确的模型超参数，进而提高模型性能。具体的技术方案如下。

第一方面，实施例提供了一种基于联邦学习的超参数确定方法，用于确定业务预测模型的超参数，业务预测模型用于对输入的包含隐私数据的样本特征进行业务预测；其中，所述业务预测模型的多个计算层被划分为包含连续后M个计算层的第一部分模型和包含剩余计算层的第二部分模型，所述第一部分模型部署在服务器中，所述第二部分模型部署在多个训练成员中；所述方法在所述服务器中执行，包括多次超参迭代过程，任意一次超参迭代过程包括：

获取所述业务预测模型的第一超参数组，其中包括针对多个训练成员中的各个训练成员的多个超参数向量；

将所述多个超参数向量分别发送至对应的训练成员；

多次执行针对所述业务预测模型的模型迭代过程，任意一次模型迭代过程包括：将所述第一部分模型的第一模型参数分别发送至多个训练成员，利用安全聚合算法，基于多个训练成员各自针对所述第一部分模型得到的分立参数梯度，确定聚合参数梯度，基于所述聚合参数梯度对所述第一模型参数进行更新；其中，任意一个训练成员的分立参数梯度，基于该训练成员存储的训练集和所述第二部分模型、以及接收的超参数向量和所述第一模型参数得到的预测损失而确定；

在多次模型迭代过程完成后，利用安全聚合算法，基于多个训练成员利用各自的测试集得到的所述业务预测模型的分立预测性能值，确定聚合预测性能值；

基于所述聚合预测性能值，更新所述第一超参数组。

一种实施方式中，任意一个超参数向量包括：第一部分模型的超参数和第二部分模型的超参数。

一种实施方式中，当所述任意一次超参迭代过程为第一次超参迭代过程时，在所述第一超参数组中，多个训练成员的超参数向量的取值相同或不同。

一种实施方式中，该方法还包括，当针对所述第一超参数组的更新操作满足预设终止条件时，终止所述超参迭代过程。

一种实施方式中，在所述超参迭代过程终止之后，还包括：