[发明专利]基于深浅层特征提取与融合的古董艺术品图像检索方法

说明书

本发明公开了一种基于深浅层特征提取与融合的古董艺术品图像检索方法，本发明以“查询集”表示使用者的查询样本，“待检索集”表示被检索的图像库数据集，本发明内容主要分为深浅层特征提取与特征拼接融合两部分，并通过三元组损失函数约束，完成特定的以图搜图目的。由于本发明所涉及领域公开数据集极为少见。因此，使用数据集为自行人工标注的古董艺术品图像检索数据。包含21类古董艺术品分类，涉及碑帖拓片、名人手迹、唐卡、佛像、玉器、石器、竹木牙角匏器、贝器、珐琅、料器、家具、文房用具、古钱币、古乐器等共2000000张图片，其中训练集和测试集的数据比例为4:1。使用SGD优化器对网络训练过程进行优化，动量为0.9。

技术领域

本发明属于图像检索领域，更具体地，涉及一种基于卷积神经网络进行特征提取与融合的图像检索方法，用于提升以图搜图的检索精度。

背景技术

随着互联网技术的快速发展，多媒体资源的迅速增长，互联网内容逐渐从主流的文本信息向各类多媒体数据发展。尤其是近几年电子设备的不断更新，成像器材的不断简化与更新，图像数据资源的迅速扩增，使得人们对图像高层语义的表达、理解、存储和检索变得更加困难。在大数据背景下，如何从海量图片中及时准确的检索感兴趣的有价值信息，快速找到目标图片成为了目前亟待解决的重要问题之一。因此，实现对目标图像信息的高效检索成为了当下关注的一个重要研究方向。图像检索最初的研究方向为基于文本的图像检索，但是由于文本描述的不全面性与图片标注的复杂性，图像检索向基于内容的图像检索，即以图搜图等方向不断发展。

近年来，随着相关方法的研究以及以深度学习为主要依托的计算机视觉技术不断发展，图像搜索技术日渐成熟，但是在精确度、即时性、应用范围等问题上仍旧存在较大的发展空间。

当代人们愈加重视文化与精神文明追求，由此带来的文物收藏热潮日渐显现了该领域图像检索的重要性。但与百度的纷杂图片，淘宝的电商图片等领域的搜索不同，古董艺术品图像检索有着更鲜明的特点。首先是搜索使用者很多是相关方面的专家，或者爱好者，因此对搜索精准度要求较高；其次相较于传统搜索引擎、电商平台等，行业特点使得古董艺术品图像检索的市场需求相对较小，从而现有相关方法的研究并不十分成熟；再者是被搜索物具有较大相似性，例如两个相似的古董艺术品，从视觉上也许只是纹理有少许区别，这样的细微之差，增加了精准搜索的难度以及应用复杂度。

发明内容

为了提高图像在古董艺术品领域的检索精度，本发明提供一种基于深浅层特征提取与融合的图像检索方法。该方法能实现在古董艺术品领域有效的图像检索功能，准确度较高，具备应用价值。且在国内外资料中，针对该领域特点的图像检索方法较少，因此本方法补充了现有技术的空白。

为了解决上述技术问题，本发明提供如下技术方案：

一种基于深浅层特征提取与融合的古董艺术品图像检索方法，，包括以下步骤：

步骤1，深浅层特征提取：使用深层语义特征提取及浅层特征提取两种特征提取网络分别对输入图像进行特征提取，对于每一张输入的查询集与检索集图像，同时经过上下两支特征提取网络分别进行浅层特征的提取与深层特征的编码映射，均获得深层语义特征及浅层特征；

步骤2，特征拼接融合：使用了一个特征拼接“concate”层，直接将深层语义特征及浅层特征表示在通道维度上进行拼接，即输入512×14×14大小与128×14×14大小的两种特征表示，经过特征拼接，输出一个640维的14×14大小的特征表示之后，将进行拼接融合后的综合特征表示，进行降维，得到编码后的查询图像与待检索图像的综合特征；

步骤3，损失函数约束：三元组损失的目标是缩小查询图像特征和待检索库中的正例图像样本特征之间的距离，同时，加大查询图像特征和待检索库中的负例图像样本特征之间的距离，目标如下：

公式1：

公式2：