[发明专利]数据分类模型训练的方法、装置、电子设备和存储介质

权利要求书

1.一种数据分类模型训练方法，其特征在于，所述方法包括：

获取多个第一样本数据、多个第二样本数据以及第一迭代次数和第二迭代次数，所述第一迭代次数和所述第二迭代次数之和为模型训练的总迭代次数，所述第一样本数据用于第一数据分类模型的训练，所述第二样本数据用于第二数据分类模型的训练；

通过多个第一训练机器和所述多个第一样本数据，对所述第一数据分类模型进行训练，得到每个第一训练机器训练得到的第一模型参数；

根据所述每个第一训练机器的环形连接顺序，将所述每个第一训练机器得到的第一模型参数进行传递，以使所述每个第一训练机器获取到其他第一训练机器得到的第一模型参数；

对于所述每个第一训练机器，确定当前迭代训练对应的所述第一数据分类模型的第一学习率，以及确定所述第一训练机器的第二学习率；

在每一次迭代过程中，根据所述第一学习率、所述第二学习率对所述第一训练机器的第一模型参数、所述第一训练机器获取到的其他第一训练机器的第一模型参数以及所述多个第一样本数据进行运算，通过运算结果，对所述第二数据分类模型进行更新，重复所述每一次迭代的过程，直到迭代次数达到所述第一迭代次数为止，得到所述第二数据分类模型；

在所述第二迭代次数内，基于所述多个第二样本数据，使用树形训练方式对所述第二数据分类模型进行训练，得到第三数据分类模型。

2.根据权利要求1所述的方法，其特征在于，所述通过多个第一训练机器和所述多个第一样本数据，对所述第一数据分类模型进行训练，得到每个第一训练机器训练得到的第一模型参数，包括：

将所述多个第一样本数据划分为第一数量个样本数据组，每个样本数据组包括至少一个第一样本数据，所述第一数量为所述多个第一训练机器的数量；

对于每次迭代的每个第一训练机器，从所述第一数量个样本数据组中选择一个未分配给所述第一训练机器的样本数据组；

通过所述第一训练机器和所述样本数据组，对所述第一数据分类模型进行迭代训练，得到所述第一模型参数。

3.根据权利要求1所述的方法，其特征在于，所述确定当前迭代训练对应的所述第一数据分类模型的第一学习率，包括：

当所述当前迭代训练的迭代次数为零时，将初始学习率作为所述当前迭代训练的第一学习率；

当所述当前迭代训练的迭代次数不为零，且当前迭代次数在第三迭代次数内时，获取上一次迭代的第三学习率，将所述第三学习率进行线性增大，得到所述当前迭代训练的第一学习率，所述第三迭代次数小于所述第一迭代次数；

当所述当前迭代训练的迭代次数在第四迭代次数内时，获取上一次迭代的第三学习率，使用多项式衰减策略将所述第三学习率进行衰减，得到所述当前迭代训练的第一学习率，所述第四迭代次数大于所述第三迭代次数，且小于所述第一迭代次数。

4.根据权利要求1所述的方法，其特征在于，所述确定所述第一训练机器的第二学习率，包括：

确定所述第一训练机器所在的网络层、所述网络层的权重以及所述网络层的梯度；

根据所述网络层、所述网络层的权重、所述网络层的梯度以及所述第一训练机器的第一模型参数，确定所述第一训练机器的第二学习率；

其中，所述第二学习率与所述网络层的权重和所述第一训练机器的第一模型参数正相关，所述第二学习率与所述网络层的梯度负相关。

5.根据权利要求1所述的方法，其特征在于，所述在所述第二迭代次数内，基于所述多个第二样本数据，使用树形训练方式对所述第二数据分类模型进行训练，得到第三数据分类模型，包括：

通过多个第二训练机器和所述多个第二样本数据，对所述第二数据分类模型进行训练，得到每个第二训练机器训练得到的第二模型参数；

将所述多个第二训练机器的第二模型参数传输至汇总机器，通过所述汇总机器，基于所述每个第二训练机器训练得到的第二模型参数，确定第三模型参数；

通过所述汇总机器将所述第三模型参数下发至所述每个第二训练机器；

对于所述每个第二训练机器，根据所述第三模型参数以及所述多个第二样本数据，对所述第二数据分类模型进行迭代训练，直到迭代次数达到所述第二迭代次数为止，得到所述第三数据分类模型。