[发明专利]外观专利的多模态图像检索方法及系统

说明书

本发明公开了外观专利的多模态图像检索方法及系统，首先对外观专利多个视图进行特征提取及融合，再对文本进行特征提取，综合考虑多种模态的信息，最后进行深度视觉语义嵌入，因此在大规模的外观设计专利数据库当中可以具有很好的检索效果；针对ANN中树结构没有对数据进行紧凑编码表示因此效率不高，哈希方法中汉明距离的计算并不是一种精确的距离计算的问题，本发明提出距离编码乘积量化，在编码的过程当中不仅将数据点编码为子空间聚类索引的串联，而且还将每个数据点与其重建编码表示之间的距离也编码进来，形成一个有效的对每个数据的紧凑编码表示；从而提高检索的效率及准确性。

技术领域

本发明涉及图像检索技术领域，尤其涉及外观专利的多模态图像检索方法及系统。

背景技术

由于图像是外观设计专利的主要内容，因此，进行外观设计专利搜索的关键技术是以图搜图核心技术。然而，外观设计专利不仅仅包含了专利设计的多个视图信息，还包含了相关的简要描述等文字信息，比如针对椅子的文字描述“这是一张圆角的木制长方形餐桌椅”等等。因此，如何利用好外观设计专利的文字信息进行多模态检索以使其检索效果达到最优，是一项具有现实意义的问题。

多模态学习技术由于其涉及的模态多，信息丰富等优点，近年来不少学者都投入到其中进行研究。然而，不同模态异构数据如何进行融合以及不同模态高层语义方面如何进行更好的统一却一直是多模态研究领域的热点与难点。西安电子科技大学在其专利“基于深层主题自编码模型的多模态检索方法”(申请号：201910527804.X)中提出一种基于深层主题自编码模型的多模态检索方法，以泊松伽马置信自编码网络为基础，发掘不同模态隐层之间由浅到深的联系，得到一个用于检索多模态信息的联合特征，提高检索性能。然而，其重点放在了多模态信息之间的互联，却并未考虑到多模态系统的规模通常是很大的这一问题。因此，涉及到大规模时效果可能不如人意。

另外，针对外观专利进行的图像检索往往是一个大规模的图像数据集检索任务。此类检索具有三个典型的主要特征：图像数据量大、特征维度高，要求响应时间短。近似最近邻搜索(Approximate Nearest Neighbor Search)是解决大规模相似性检索的有效方法。ANN通过将全空间进行分割，然后通过某种方式，快速锁定在某几个子空间里做遍历，具有计算效率高、检索质量好的优点。

ANN方法大体可以分为三大类：基于树的方法、哈希方法、矢量量化方法。基于递归空间划分的树结构的经典方法包括KD树，R树，有利点树和分层k均值树。但是，对于高维数据而言，大多数这些技术中的搜索性能甚至可能比遍历扫描更慢。而且，它们没有对数据进行紧凑编码表示，因此在处理十亿等等大规模数据量的问题时效率较低。

紧凑编码表示通过将高维数据编码为紧凑码，通过简单的位串操作或预先计算的查找表来进行快速距离(相似性)计算，具有很高的压缩率。目前可分为两大类：基于哈希和基于矢量量化的方法。哈希方法中，数据点被编码为保持相似性的二进制代码，因此可以通过遍历相似的二进制代码或在邻近的哈希桶中找到其近邻数据点。重庆邮电大学在其专利“一种基于多图正则化深度哈希的多模态医学图像检索方法”(申请号：201910048281.0)中提出利用多通道深度模型提取多模态医学图像的深度特征，然后构建近邻图以保持数据的局部流行结构，最后将向量编码为哈希码在汉明距离来进行相似性搜索。然而，由于将高维数据投影到汉明空间的过程中会有精度损失，汉明距离仅给出离散化的排序，而本质上不提供精确的距离，因此基于哈希的汉明距离计算方法对于大规模的图像来说存在着精确度不够的问题。