[发明专利]基于纵向联邦学习系统的模型训练方法、设备及存储介质

权利要求书

1.一种基于纵向联邦学习系统的模型训练方法，其特征在于，包括：

提取待训练模型的目标函数，所述待训练模型包括至少两类模型参数集，每个模型参数集对应匹配的训练数据集和/或训练数据标签集；

对所述目标函数中包括的各数据项进行逐层解析，得到逻辑计划执行树，所述逻辑计划执行树中的各树节点对应于计算表达式，且上层树节点依赖于下层树节点的计算结果；

根据所述逻辑计划执行树中各树节点所使用的训练数据集和/或训练数据标签集，生成物理执行计划，所述物理执行计划中定义计算所述逻辑计划执行树中每个树节点的设备；

根据所述物理执行计划，调度所述纵向联邦学习系统中的各设备对所述待训练模型中包括的各所述模型参数集进行训练；

所述对所述目标函数中包括的所述各数据项进行逐层解析，得到所述逻辑计划执行树，包括：

根据各所述训练数据集以及各所述训练数据标签集对所述目标函数进行变换，得到与所述目标函数对应的目标参考函数；其中，所述目标参考函数中包括各所述数据项；

对所述目标参考函数中包括的各所述数据项进行逐层解析，得到所述逻辑计划执行树；

所述纵向联邦学习系统包括至少一个主设备和至少一个从设备；各所述主设备存储有所述训练数据集和所述训练数据标签集，各所述从设备仅存储有所述训练数据集；

所述根据各所述训练数据集以及各所述训练数据标签集对所述目标函数进行变换，得到与所述目标函数对应的所述目标参考函数，包括：

分别将各所述主设备存储的所述训练数据集和所述训练数据标签集，以及各所述从设备存储的所述训练数据集代入至所述目标函数中，并对所述目标函数进行因式分解，得到与所述目标函数对应的所述目标参考函数；

根据偏导对所述目标参考函数所对应的模型参数进行更新，则进一步得到所述逻辑计划执行树。

2.根据权利要求1所述的方法，其特征在于，所述根据所述逻辑计划执行树中各树节点所使用的训练数据集和/或训练数据标签集，生成物理执行计划，包括：

根据所述逻辑计划执行树生成计算路由；

根据所述计算路由生成与所述逻辑计划执行树中各树节点对应的所述物理执行计划。

3.根据权利要求2所述的方法，其特征在于，所述根据所述逻辑计划执行树生成计算路由，包括：

分别确定与各所述训练数据集和/或各所述训练数据标签集对应的设备；如果确定与目标训练数据集和目标训练数据标签集对应的设备为目标主设备，则通过所述目标主设备执行与所述目标训练数据集和目标训练数据标签集对应的树节点；

如果确定与目标训练数据集对应的设备为目标从设备，则通过所述目标从设备执行与所述目标训练数据集对应的树节点。

4.根据权利要求1或2所述的方法，其特征在于，所述根据所述逻辑计划执行树生成计算路由，还包括：

调度所述纵向联邦学习系统中的各所述主设备对第一模型参数集以及第三模型参数集进行训练；

和/或，

调度所述纵向联邦学习系统中的各所述从设备对第二模型参数集进行训练；

其中，所述模型参数集包括：所述第一模型参数集、所述第二模型参数集以及所述第三模型参数集。

5.根据权利要求4所述的方法，其特征在于，在调度所述纵向联邦学习系统中的各所述主设备对第一模型参数集以及所述第三模型参数集进行训练；和/或，调度所述纵向联邦学习系统中的各所述从设备对第二模型参数集进行训练之后，所述方法还包括：

将所述第一模型参数集，以及所述第二模型参数集发送至所述纵向联邦学习系统中的服务器；

所述服务器根据预先设定的学习率对所述第一模型参数集，以及所述第二模型参数集进行更新；

将所述第一模型参数集返回至各所述主设备；将所述第二模型参数集返回至各所述从设备。

6.根据权利要求1所述的方法，其特征在于，所述根据所述物理执行计划，调度所述纵向联邦学习系统中的各设备对所述待训练模型中包括的各所述模型参数集进行训练，包括：

对所述物理执行计划进行切分，并确定并行计算内容，以调度所述纵向联邦学习系统中的各设备对所述待训练模型中包括的各所述模型参数集进行训练。