[发明专利]机器学习图像搜索

说明书

机器学习编码器将图像编码为在多模态空间中可表示的图像特征向量。编码器还将查询编码为在多模态空间中可表示的文本特征向量。在多模态空间中将图像特征向量与文本特征相比较，以基于比较来识别与查询匹配的图像。

背景技术

电子设备已经彻底改革了数字图像的捕捉和存储。许多现代电子设备(，例如，移动式电话、平板机、膝上计算机等等)配备有照相机。电子设备捕捉包括视频的数字图像。一些电子设备捕捉同一场景的多个图像以捕捉更好的图像。电子设备捕捉视频，该视频可以被考虑为图像的流。在多种情况下，电子设备具有能够存储数以千计的图像的大存储容量。这促使捕捉更多图像。而且，这些电子设备的成本已经继续下降。由于设备的激增和低廉的存储器的可用性，数字图像现在普遍存在并且个人目录可以以数以千计的数字图像为特征。

附图说明

在参考以下图的以下描述中对示例进行详细地描述。在附图中，相同附图标记指示类似的要素。

图1图示出根据示例的机器学习图像搜索系统；

图2图示出根据示例的、用于机器学习图像搜索系统的数据流；

图3A、3B和3C图示出根据示例的、用于机器学习图像搜索系统的训练流；

图4图示出根据示例的、打印机嵌入的机器学习图像搜索系统；以及

图5图示出根据示例的方法。

具体实施方式

为了简化和说明性目的，通过主要地参考示例来描述实施例的原理。在以下描述中，阐述许多特定细节以便提供对实施例的理解。然而，对本领域普通技术人员将明显的是，可以在不进行对这些特定细节的限制的情况下实践实施例。在一些实例中，没有详细地描述公知的方法和/或结构，以便不使实施例不必要地模糊。

根据本公开的示例，机器学习图像搜索系统可以包括机器学习编码器，该机器学习编码器能够将图像转换为图像特征向量。机器学习编码器还可以将接收到的查询转换为文本特征向量，以搜索图像特征向量以识别与查询匹配的图像。

查询可以包括文本查询或通过自然语言处理被转换为文本查询的自然语言查询。查询可以包括句子或词组或词语的集合。查询可以描述用于搜索的图像。

可以包括图像的特征向量和/或文本特征向量可以表示特征图像的属性或文本描述的属性。例如，图像特征向量可以表示边缘、形状、区域，等等。文本特征向量可以表示词语的相似性、语言学规律、基于训练的词语的上下文信息、对形状、区域的描述、与其他向量的接近度，等等。

特征向量可以是在多模态空间中可表示的。多模态空间可以包括k维坐标系统。当图像和文本特征向量被填充在多模态空间中时，可以通过将多模态空间中的特征向量的距离相比较来识别类似的图像特征和文本特征，以识别对查询的匹配图像。距离比较的一个示例可以包括余弦近似，其中将多模态空间中的特征向量之间的余弦角相比较以确定最接近的特征向量。余弦类似的特征可以在多模态空间中是近似的，并且不同的特征向量可以在远端。特征向量可以具有多模态空间中的k个维度或坐标。在向量模型中的多模态空间中，具有类似特征的特征向量被彼此接近地嵌套。

在现有的搜索系统中，可以利用描述来对图像进行手动标注，并且可以通过搜索手动添加的描述来找出匹配。包括文本描述的标注可以被容易地解密或可以是人类可读的。因此，现有的搜索系统具有安全和隐私风险。在本公开的示例中，可以存储特征向量或嵌套，而不存储图像的原始图像和/或文本描述。特征向量不是人类可读的，并且因此更安全。此外，为了进一步的安全，可以将原始图像存储在别处。而且，在本公开的示例中，加密可以用于保证原始图像、特征向量、索引、标识符、在本文公开的其他中间数据的安全。