[发明专利]一种卷积网络训练方法和装置

说明书

本发明实施方式公开了一种卷积网络训练方法和装置。方法包括：对于每批小批训练图片mini‑batch，在利用深度卷积网络，提取其中每张图片的特征向量后，根据所述特征向量，计算相应的损失值，并基于扩散原则确定相应的扩散性损失值；根据所述扩散性损失值对所述损失值进行修正，根据所述修正的结果，对所述深度卷积网络的参数进行反向传播调整，完成本次小批训练图片的训练。本发明可以有效解决数据规模较大时训练性能急剧下降的问题。

技术领域

本发明涉及卷积网络技术领域，尤其涉及一种卷积网络训练方法和装置。

背景技术

近年来，卷积深度学习技术在各项工程中逐渐发挥了重要作用。综合来说，除了强化学习和以生成式对抗网络(GAN)为代表的多网络模型外，简单的端到端深度卷积网络主要解决视觉方面的三个问题：分类问题，回归问题和基于特征的距离相似度问题。

深度卷积网络的距离相似度用于解决诸如人脸识别，以图搜图等用于判别图和图之间的相似度问题，甚至通过阈值间接达到分类问题。

现有的网络训练方法通常是利用卷积提取特征，通过构造正负样本对的方式，对于bottleneck层进行设计，并通过不同的距离算法，实现整个网络能够将正样本靠近，负样本远离达到有一定相似度识别能力的深度卷积网络。

发明人在实现本发明的过程中，发现：当前网络训练方案的各类算法在设计过程中主要考虑能够实现距离相似度区分，但是少有考虑采用不同类尽量远离的方式。这样，虽然现有的网络训练方案在一定规模的数据预测效果较好，但是，数据增大到一定规模使得向量密布所在的维度空间时，便会由于空间饱和情况，而使得相互之间的区分度迅速下降，从而导致性能急剧下降。

例如，假设样本输出为二维向量(x1,x2)，采用现有的网络训练方法，正常训练好的距离估计实现框图如图1所示。对应的向量映射到二维空间示意图如图2所示。从上述图中可以看出，训练好的深度卷积网络虽然能够正确区分正负样本，并且也有较好的对于相似图片聚集的效果，但当在推理过程中，图片数量增加，虽然有区分度，但是并不能使得(gf)，(ab)， (cd)达到尽量拉远的情况。

发明内容

本发明实施例提出一种卷积网络训练方法和装置，可以解决数据规模较大时训练性能急剧下降的问题。

本发明实施方式的技术方案如下：

一种卷积网络训练方法，包括：

对于每批小批训练图片mini-batch，在利用深度卷积网络，提取其中每张图片的特征向量后，根据所述特征向量，计算相应的损失值，并基于扩散原则确定相应的扩散性损失值；

根据所述扩散性损失值对所述损失值进行修正，根据所述修正的结果，对所述深度卷积网络的参数进行反向传播调整，完成本次小批训练图片的训练。

在一个实施方式中，所述基于扩散原则确定相应的扩散性损失值包括：

对于当前所述mini-batch的训练样本对应的每一类c，根据本mini-batch 对应的第c类特征向量，对当前的第c类特征向量的均值进行更新，其中 c为类的编号；

计算中心矩阵M，M的每个元素为M(c,j)，M(c,j)为第c类的特征向量的均值和第j类的特征向量的均值组成的线段中点其中j为不同于c的类的编号；

计算距离矩阵D，D的每个元素为D(c,j)，D(c,j)为其中