[发明专利]深度学习模型的训练方法、装置及电子设备

权利要求书

1.一种深度学习模型的训练方法，其特征在于，包括：

获取待训练的深度学习模型中各相邻两层之间的层间权重；

对所述层间权重进行聚类处理，得到所述层间权重的聚类中心权重，并建立所述层间权重与所述聚类中心权重的对应关系；

计算所述聚类中心权重的梯度；

根据所述聚类中心权重的梯度，更新所述聚类中心权重，并根据所述对应关系更新所述聚类中心权重对应的层间权重，以根据更新后的所述层间权重训练所述深度学习模型；

继续执行计算所述聚类中心权重的梯度，根据所述聚类中心权重的梯度，更新所述聚类中心权重，并根据所述对应关系更新所述聚类中心权重对应的层间权重，以根据更新后的所述层间权重训练所述深度学习模型的步骤，直至满足预设的训练终止条件，得到训练完成的所述深度学习模型。

2.根据权利要求1所述的深度学习模型的训练方法，其特征在于，计算所述聚类中心权重的梯度的步骤，包括：

通过预设的梯度下降算法对所述层间权重进行反向传播处理，得到所述层间权重的梯度；

根据所述层间权重的梯度和所述对应关系，计算所述层间权重对应的聚类中心权重的梯度。

3.根据权利要求2所述的深度学习模型的训练方法，其特征在于，所述根据所述层间权重的梯度和所述对应关系，计算所述层间权重对应的聚类中心权重的梯度的步骤，包括：

根据所述对应关系，确定属于同一个聚类中心权重的层间权重；

对确定的所述层间权重对应的层间权重的梯度进行求和，得到所述层间权重对应的聚类中心权重的梯度。

4.根据权利要求1-3任一项所述的深度学习模型的训练方法，其特征在于，所述根据所述聚类中心权重的梯度，更新所述聚类中心权重的步骤，包括：

通过下述公式得到更新后的所述聚类中心权重：

式中，c为聚类中心权重，t为训练周期，c^t为当前的所述聚类中心权重；c^t+1为更新后的所述聚类中心权重；λ为学习效率，取值范围为[0,1]；X为深度学习模型的训练样本；为所述聚类中心权重的梯度。

5.根据权利要求1所述的深度学习模型的训练方法，其特征在于，所述对所述层间权重进行聚类处理，得到所述层间权重的聚类中心权重的步骤，包括：

采用K-Means聚类算法对所述层间权重进行聚类处理，得到所述层间权重的聚类中心权重。

6.根据权利要求1所述的深度学习模型的训练方法，其特征在于，在所述得到训练完成的所述深度学习模型的步骤之后，所述方法还包括：

对训练完成的所述深度学习模型进行剪枝训练，得到剪枝后的深度学习模型。

7.根据权利要求1所述的深度学习模型的训练方法，其特征在于，在所述得到训练完成的所述深度学习模型的步骤之后，所述方法还包括：

根据所述聚类中心权重和所述层间权重的对应关系，确定所述深度学习模型的权重索引；

对所述权重索引进行编码处理，得到所述权重索引的编码数据；

从训练完成的所述深度学习模型中删除各相邻两层之间的层间权重。

8.根据权利要求7所述的深度学习模型的训练方法，其特征在于，所述对所述权重索引进行编码处理，得到所述权重索引的编码数据的步骤，包括：

对所述权重索引进行哈夫曼编码压缩处理，得到所述权重索引的编码数据。

9.根据权利要求7所述的深度学习模型的训练方法，其特征在于，在所述对所述权重索引进行编码处理，得到所述权重索引的编码数据之后，所述方法还包括：

通过所述编码数据，获取所述权重索引中每个层间权重对应的聚类中心权重；

通过所述聚类中心权重，以及所述聚类中心权重和所述层间权重的对应关系，获取所述深度学习模型的层间权重。