[发明专利]一种基于深度卷积神经网络的大规模图像检索方法及系统

说明书

本发明公开了一种基于深度卷积神经网络的大规模图像检索方法及系统，通过构建深度卷积神经网络(DHN)进行大规模图像检索，DHN包括基于ResNet50的特征提取、基于通道和空间注意(CSA)的特征细化、分类层和哈希层以及权重层四部分组成；DHN通过CSA实现自底向上的像素显著性关注，通过分类标签监督实现自顶向下的语义约束；DHN采用自适应加权学习算法为每一位哈希码生成权值，然后根据权重所代表的位的重要性，从长哈希码直接生成短哈希码。本发明方法具有更高的哈希码生成精度和速度，从而适合大规模图像检索任务。

技术领域

本发明属于人工智能技术领域，涉及一种大规模图像检索方法及系统，具体涉及一种基于混合注意力和自适应权重的大规模图像检索方法及系统。

背景技术

大规模图像检索任务是给定一幅查询图像，通过图像特征快速地从百万级图像数据库中找到一定数量的内容相似的图像。传统的基于树的检索方法通常使用高时间复杂度的相似度度量如欧氏距离等来计算特征间的距离，在处理低维数据时表现出良好的性能。然而，当数据量达到数百万或数亿，特征维度的增长幅度较大时，容易产生维度灾难，时间性能显著降低。为了能够显著提高存储和检索效率，将原始空间的高维向量转换为汉明空间的二进制编码的哈希检索被提出。

现有的哈希方法主要分为传统哈希方法和基于深度神经网络的哈希方法。最经典的传统哈希方法是LSH，通过K个串联的具有位置敏感性的哈希函数将在高维空间中距离相近的原始数据点映射到相同的哈希桶中，使得查询时只需从查询图片对应的哈希桶内进行近邻搜索。但当数据量大时，LSH需要以码长为代价换取检索性能的提升，而且需要大量的存储空间，因此LSH不适合于大规模图像检索。

Wang等人提出的半监督哈希算法SSH属于经典的半监督哈希算法，对有标签数据最小化经验误差，正则化处理所有数据，以最大化可计算的属性(比如方差)和每个哈希位之间的独立性。在松弛和施加正交约束之后，可以推导出不相关的哈希码。

为了能够更好地利用标签信息，Liu等人提出的基于核的哈希方法KSH根据标签信息建立数据之间的相似关系，得到了较好的结果。先前的哈希方法都是对汉明距离进行直接优化，但是因为汉明距离是非收敛和非平滑的，难以优化。在KSH中，使用二进制码的内积与汉明距离之间的等价关系优化模型，得到一个非常高效易于优化的目标函数，构建紧凑的哈希码。

传统的基于哈希的图像检索方法主要使用手工设计的图像描述子特征，如SIFT、LBP、HOG、SURF特征。但是这些特征描述的是图像的局部特征，不能全面表达图像中隐含的信息，而且特征表达缺乏人类能够理解的高层语义信息。卷积神经网络模仿人类视觉机制，能够全面表达图像信息，更适合于实际应用。因此，近年来深度哈希学习变得越来越受欢迎。

2014年，Xia等人提出了CNNH算法，通过两阶段法将CNN与哈希编码融合，第一阶段学习哈希编码，第二阶段通过训练CNN以输出连续的哈希码。CNNH算法通过CNN自动学习图像特征和非线性哈希函数，对二进制码进行拟合，检索性能取得了显著提升。但是这种方法图像表征和哈希码学习是分离的，不能进行端到端地学习。2015年，Lai等人对CNNH网络进行改进，提出了NINH，将三元组图像作为网络输入，通过两个子网络同时训练，通过三元组损失函数使三元组中相似的图像具有相似的哈希码，不相似的图像具有差异较大的哈希码，实现特征提取和哈希编码的同时优化。2017年，Cao等人提出HashNet框架，通过收敛的连续方法直接进行哈希码学习，从连续的相似数据中学习到准确的二进制码。此外，为了保持图像间的相似性，HashNet基于交叉熵损失函数设计了加权成对交叉熵损失函数。2018年，Cao等人提出DCH架构，通过联合优化柯西交叉熵损失和柯西量化损失生成紧凑且集中的二进制哈希码，实现了高效的汉明空间检索。2020年，Wang等人提出了一种新的全局相似度度量，鼓励相似数据对的哈希码收敛到共同的中心，不同数据对的哈希码收敛到不同的中心，很大程度上提高了学习效率和检索精度。