[发明专利]一种基于卷积神经网络正则化处理的图像检索方法

说明书

本发明提出一种基于卷积神经网络正则化处理的图像检索方法，利用基于结构拓展的卷积神经网络正则化处理，将神经网络结构用有向无环图的形式来表示，再对有向无环图的结构进行一系列拓展，然后训练拓展后所得图所对应的神经网络，最后将神经网络中除原始结构以外的层删除。相比现有技术，本发明所提方法在不增加推理代价的情况下，提升了神经网络的性能，在计算机视觉的各大方向均有应用前景。

技术领域

本发明涉及于图像检索技术，特别涉及卷积神经网络正则化技术。

背景技术

基于内容的图像检索在各工业领域具有广阔的应用前景。基于内容的图像检索利用计算机对图像进行分析，建立图像特征矢量描述并存入图像特征库，当用户输入一张查询图像时，用相同的特征提取方法提取查询图像的特征得到查询向量，然后在某种相似性度量准则下计算查询向量到特征库中各个特征的相似性大小，最后按相似性大小进行排序并顺序输出对应的图片。

基于内容的图像检索技术将图像内容的表达和相似性度量交给计算机进行自动的处理，大大提高了检索的效率，从而为海量图像库的检索开启了新的大门。不过，其缺点也是存在的，主要表现为特征描述与高层语义之间存在着难以填补的语义鸿沟，并且这种语义鸿沟是不可消除的。之后，人们将卷积神经网络应用于图像检索以解决语义鸿沟的问题，将利用神经网络提取的特征作为用于检索的图像特征，相比传统机器学习算法需要人工设计特征，卷积神经网络模型可以利用梯度下降算法实现特征学习，降低了模型设计难度，提高了模型的性能。卷积神经网络由于优化算法的限制，往往会存在一定的过拟合问题。这将影响图像特征的提取效果，而从最终影响图像检索的准确性。

针对过拟合问题，除了Dropout、批标准化Batch Normalization等方法，还存在一些改变网络结构来实现正则化的方法。如2015年发表在CVPR会议上的论文《Going deeperwith convolutions》提出利用辅助分类器实现向浅层的梯度传播，并存在的正则化效果。另外，2017年发表在ICLR会议上的论文《FractalNet:Ultra-Deep Neural Networkswithout Residuals》通过在训练时随机地删除部分网络结构的方式来实现正则化。

发明内容

本发明所要解决的技术问题是，提供一种在不增加推理代价的情况下改进卷积神经网络结构解决过拟合问题，从而提高图像检索准确性的方法。

本发明为解决上述技术问题所采用的技术方案是，一种基于卷积神经网络正则化处理的图像检索方法，包括以下步骤：

1)神经网络训练步骤：

1-1)将卷积神经网络结构表示为有向无环的二部图；卷积神经网络中输入、输出各子网络的每个张量构成二部图的集合Y中各节点，每个子网络构成二部图的集合X中各节点，二部图中各节点按从输入层到输出层方向的先后顺序进行连接；所述子网络为神经网络中各运算单元或相连的运算单元的集合；

1-2)设置选定节点数量M、每个节点对应的图结构拓展次数N_m；从隐藏层中选出M个选定节点；所述隐藏层为各子网络的输出张量；

1-3)按从靠近输出层向靠近输入层的方向顺序确定还未进行拓展的一个选定节点，将该选定节点之后的图结构进行N_m次拓展；再判断是否还有未进行拓展的选定节点，如是，则返回步骤1-3)，如否，对应拓展后图结构生成基于结构拓展的卷积神经网络后，进入步骤1-4)；

1-4)将训练集中的图像输入与基于结构拓展的卷积神经网络，完成训练后，删除所有拓展部分的网络结构和对应的训练得到的权重，仅保留原始卷积神经网络结构以及对应的训练得到的权重作为训练好的卷积神经网络；

2)图像检索步骤：

2-1)将待检索图像输入至训练好的卷积神经网络中，从原始卷积神经网络结构中隐藏层得到待检索图像特征；