[发明专利]模型训练方法及装置

权利要求书

1.一种模型训练方法，应用于协调方，其特征在于，包括：

初始化第一模型，并将所述第一模型分发至每个参与方，使得每个参与方在获取到所述第一模型后，基于本地用户的训练样本训练所述第一模型；

将接收到的每个参与方在每迭代预设次数后得到的模型信息求均值后得到目标信息，并将所述目标信息分发至每个参与方，使得所述参与方按照所述目标信息更新所述第一模型的模型参数后进行下一次迭代，直至满足预设条件后，所述参与方停止训练所述第一模型，并得到训练后的第二模型；

其中，所述模型信息包括以下至少一项：模型每迭代预设次数后得到的梯度信息；模型每迭代预设次数后得到的模型参数信息。

2.根据权利要求1所述的方法，其特征在于，所述协调方初始化第一模型，包括：

构建第一模型；所述第一模型包括：全局共享层、局部共享层以及子任务层；所述全局共享层包括：预设数量的全局共享网络，以及与子任务数量相同的门控层；所述全局共享网络输出的数据经所述门控层输出的概率向量加权平均后输入至所述局部共享层；所述局部共享层包括：与所述子任务数量相同的局部共享网络；所述子任务层包括：与所述子任务数量相同的子任务网络，每个子任务网络用于对应子任务的训练；每个局部共享网络的输出作为对应的子任务网络的输入；

采用逐层递减的准则初始化所述第一模型的神经元个数；

使用启发式算法在预先范围内进行定向搜索，并根据不同结构的网络在相同验证集上的评价指标调整所述第一模型各个网络层的神经元个数。

3.根据权利要求1所述的方法，其特征在于，所述将所述第一模型分发至每个参与方之后，所述方法还包括：

接收各个参与方发送的组合特征；

将各个参与方发送的组合特征中与所述协调方的样本数据具有相同的特征确定为公共特征，并将所述公共特征分发至每个参与方，使得所述参与方按照所述公共特征进行数据对齐，得到所述训练样本。

4.一种模型训练方法，应用于参与方，其特征在于，包括：

接收协调方发送的第一模型，并基于本地用户的训练样本训练所述第一模型；

将每迭代预设次数后得到的模型信息发送至所述协调方，并接收所述协调方发送的目标信息；

基于所述目标信息，更新所述第一模型的参数，并进行下一次迭代，直至满足预设条件后，停止训练所述第一模型，并得到训练后的第二模型；

其中，所述目标信息为所述协调方将接收到的每个参与方在每迭代预设次数后得到的模型信息求均值后得到目标信息；所述第一模型包括：全局共享层、局部共享层以及子任务层；所述全局共享层包括：预设数量的全局共享网络，以及与子任务数量相同的门控层；所述全局共享网络输出的数据经所述门控层输出的概率向量加权平均后输入至所述局部共享层；所述局部共享层包括：与所述子任务数量相同的局部共享网络；所述子任务层包括：与所述子任务数量相同的子任务网络，每个子任务网络用于对应子任务的训练；每个局部共享网络的输出作为对应的子任务网络的输入。

5.根据权利要求4所述的方法，其特征在于，所述基于本地用户的训练样本训练所述第一模型，包括：

从本地样本数据中获取用户的基础离散信息和行为连续信息；

按照时间周期对所述基础离散信息和所述行为连续信息进行聚合后得到聚合信息；

计算所述聚合信息中两个不同特征在同一时间窗口下的比值或同一特征在不同时间窗口下的差值，得到本地样本数据的组合特征；

将所述组合特征发送至所述协调方，使得所述协调方将各个参与方发送的组合特征中与所述协调方的样本数据具有相同的特征确定为公共特征，并将所述公共特征分发至每个参与方；

接收所述协调方发送的所述公共特征，并按照所述公共特征进行数据对齐，得到所述训练样本；

其中，所述基础离散信息为所述参与方统计并计算后得到的用户基础信息；所述行为连续信息为与所述参与方相关的用户行为信息。