[发明专利]基于端到端的分布式深度哈希检索方法

说明书

本发明公开了基于端到端的分布式深度哈希检索方法，利用“二次前传”技术和交替方向乘子法ADMM来交互式更新分布式网络中的每个参数。本发明解决了传统的人工提取的特征在用于分布式环境下图像检索性能较差的问题。而且通过微调的ResNet网络，并不会损失太多分类性能，统一了分类与检索，同时采用了分布式架构，便于数据的并行式计算与存储。此外，通过卷积神经网络提取到的图像特征更具语义相似性。更重要的是，利用“二次前传”技术和ADMM算法实现参数的交互式更新，使得深度哈希技术与分布式架构完美结合。

技术领域

本发明属于深度学习领域，主要涉及在分布式环境下采用端到端的深度哈希技术以提高图像检索性能。

背景技术

业界一直在谈论大数据，对于统计而言，大数据其实意味着样本量增加或维度的增加，亦或者两者同时增加，并且维度与样本量的增长速度呈线性或者指数型增长。虽然现在有一些比较好的迭代算法，但是，在面对真实的Gb级别以上的数据，很多时候我们还是无法直接用这些算法，原因是一般的硬件都无法支撑直接对所有数据进行运算的要求。如果想减少抽样误差，又想提高估计的精度，那么还是需要寻求其他思路，结合已有的模型思想来解决这些问题。在目前条件下，并行化、分布式计算是一种比较好的解决思路，利用多核和多机器的优势，这些好算法便可以大规模应用，处理大数据优势便体现出来了。此外，在人工智能领域中，深度学习框架具有超强的学习能力，无论是图像分类，还是图像检索，都有非常好的效果。因此，将深度学习应用于分布式环境下，就非常有意义了。

目前，卷积神经网络(CNN)是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一，并且在数据样本充足时有足够稳定的表现。对于一般的大规模图像分类问题，卷积神经网络可用于提取图像的判别特征以供其它分类器进行学习。卷积神经网络在图像识别领域取得很好的效果，因此，我们常用CNN进行特征提取，以减小图像检索领域中的“语义鸿沟”问题。

残差网络(ResNet)出现于2015年，在2015年ImageNet的分类任务上取得了第一名的好成绩，它的出现相对于较早的AlexNet，VGGNet，GoogleNet等特征提取网络来说具有着历史性的突破。在ResNet网络之前，为了提高卷积网络的特征提取能力，研究者纷纷通过不断增加网络的深度，然而，随着网络深度的不断加深，人们开始发现网络的深度已经达到瓶颈，盲目的加深网络的深度不但不会提高检测的准确率，反而会使得网络难以训练。究其根本原因是随着网络深度的不断增加，在反向传播调节网络参数时，网络中的梯度值会随着深度的不断增加出现梯度爆炸或者梯度消失，使得网络的训练过程难以收敛。而残差网络的出现则正好改变了现状，采用ResNet网络进行特征提取时，网络的深度可以得到极大的增加，从最初的十几层，增加到如今的上千层，并且不会产生过拟合现象。因此，在我们的分布式深度哈希算法研究当中，将采用微调的ResNet50网络架构。

随着研究者多年来结合机器学习和哈希学习用于各种领域，哈希算法已得到不断改进，哈希算法目前可以大致分为两个阶段。早期的是数据独立的哈希算法。随着训练数据的重要性被发现，数据独立的哈希算法渐渐被基于数据的哈希算法替代。哈希算法的本质是把高维的数据映射到低维的汉明空间，在低维空间下利用哈希函数族对数据进行二进制编码。在大数据的背景下，这样详尽的线性搜索代价过于昂贵，于是近数十年间研究者们提出了很多快速近似最近邻搜索的方法。解决快速近似最近邻搜索问题的一个经典算法是构建基于树的索引结构，例如kd-trees，PCA-trees等。近几年，国内外研究者们着力于研究产生紧密哈希码的哈希算法，代表性的无监督哈希算法有迭代量化哈希(ITQ)，基于核的局部敏感哈希，锚点图哈希(AGH)等；代表性的半监督哈希算法有半监督哈希(SSH)，基于语义一致图的谱哈希(SH)等；代表性的监督哈希算法有基于核的监督哈希(KSH)，离散监督哈希(SDH)等。因此，将成熟的哈希算法应用于分布式环境，非常具有应用价值。

综上所述，现有技术中对于如何利用深度哈希算法实现分布式环境下图像检索的问题尚没有公开的披露。

发明内容