[发明专利]一种深度学习模型的训练方法及装置

说明书

本发明实施例提供了一种深度学习模型的训练方法及装置，方法为：首先训练得到中间深度学习模型；计算训练样本集中各个样本的特征向量以及计算中心点距离目标函数的中间参数的初始值；将中心点距离目标函数添加到中间深度学习模型中并加载中间参数的初始值，得到目标深度学习模型；利用当前目标深度学习模型，计算当前批次数据中各个样本的特征向量，并更新中间参数的参数值；计算中心点距离目标函数的函数值和分类目标函数的函数值，并判断是否符合结束训练的条件；如果否，调整当前目标深度学习模型的参数，导入下一批次数据并进行模型训练；如果是，结束训练。应用本发明实施例提供的方案可以提升深度学习模型的分类准确率。

技术领域

本发明涉及机器学习技术领域，特别是涉及一种深度学习模型的训练方法及装置。

背景技术

包含分类目标函数的深度学习模型，即带有分类任务的深度学习模型(深度学习分类模型)，其通用架构是：首先采用若干组“卷积-非线性激励-池化”模块提取出数据分布的特征，然后采用“全连接”或者“1×1卷积”将特征缩减到指定数量个类别，最后通过softmax等分类目标函数实现类别分值的推断。而将包含分类目标函数的深度学习模型与中心点距离目标函数相结合，能够使得深度学习模型学习到的数据分布更加紧凑。

对于包含分类目标函数的深度学习模型，根据每一类别所包含的各个样本的特征向量可以计算得到该类别的中心点，该类别中各个样本到该类别的中心点的距离为中心点距离。在深度学习模型的训练过程中，可以通过减小中心点距离，来提升深度学习模型的分类准确率。

目前，在深度学习模型的训练过程中，均采用批次数据训练的形式对模型参数进行更新，但是现有方法是采用批次数据对中心点距离目标函数的函数值进行近似的方式来确定各个类别的中心点距离，也就是说，在训练过程中计算出的中心点距离不准确，从而导致深度学习模型的分类准确率不高。

发明内容

本发明实施例的目的在于提供一种深度学习模型的训练方法、装置、电子设备及计算机可读存储介质，以提升深度学习模型的分类准确率。具体技术方案如下：

第一方面，本发明实施例提供了一种深度学习模型的训练方法，所述方法包括：

利用训练样本集中的各个样本，对预先构建的初始深度学习模型进行训练，得到中间深度学习模型；其中，所述初始深度学习模型为：加载有分类目标函数的深度学习模型；

利用所述中间深度学习模型，计算所述训练样本集中各个样本的特征向量，并根据所述训练样本集中各个样本的特征向量，计算中心点距离目标函数的中间参数的初始值；

将所述中心点距离目标函数添加到所述中间深度学习模型中并加载所述中间参数的初始值，得到目标深度学习模型；

导入所述训练样本集中的预设数量个样本作为批次数据；

利用当前目标深度学习模型，计算当前批次数据中各个样本的特征向量，并根据当前批次数据中各个样本的特征向量，更新所述中间参数的参数值；

基于当前批次数据中各个样本的特征向量，计算所述中心点距离目标函数的函数值和所述分类目标函数的函数值，并判断计算得到的中心点距离目标函数的函数值是否收敛到第一预定区间，且计算得到的分类目标函数的函数值是否收敛到第二预定区间；

如果否，利用所述中心点距离目标函数的反向传播梯度和所述分类目标函数的反向传播梯度，调整当前目标深度学习模型的参数，并返回执行所述导入所述训练样本集中的预设数量个样本作为批次数据的步骤；

如果是，结束对所述当前目标深度学习模型的训练。

可选的，所述中心点距离目标函数的中间参数包括：各个类别的中心点、每一类别中的各个样本与该类别的中心点的偏差和、每一类别中的各个样本与该类别的中心点的距离的平方和；