[发明专利]机器学习图像搜索

权利要求书

1.一种机器学习图像搜索系统，包括：

处理器；

存储机器可读指令的存储器，

其中，所述处理器用于执行所述机器可读指令以：

使用机器学习编码器来对图像目录中的每个图像进行编码，以生成在多模态空间中可表示的每个图像的k维图像特征向量，其中k是大于1的整数；

接收查询；

使用所述机器学习编码器对所述查询进行编码，以生成所述查询的在所述多模态空间中可表示的k维文本特征向量；

在所述多模态空间中将所述k维图像特征向量与所述k维文本特征相比较；并且

基于所述比较从所述图像目录中识别匹配所述查询的图像。

2.根据权利要求1所述的系统，其中，所述处理器用于执行所述机器可读指令以：

生成包括所述k维图像特征向量和与所述k维图像特征向量相关联的每个图像的标识符的索引；并且

响应于识别所述匹配图像，根据所述匹配图像的索引中的所述标识符来检索所述匹配图像。

3.根据权利要求2所述的系统，其中，所述图像目录被存储在经由网络连接到所述系统的计算机上，并且为了检索所述匹配，所述处理器用于根据所述标识符从经由所述网络连接到所述系统的所述计算机检索所述匹配图像。

4.根据权利要求1所述的系统，其中，接收到的所述查询包括语音或文本，并且所述处理器用于执行所述机器可读指令以：

向所述语音或文本施加自然语言处理，以确定要被搜索的图像的文本描述；以及

为了对所述查询进行编码，所述处理器用于对所述文本描述进行编码以生成所述k维文本特征向量。

5.根据权利要求1所述的系统，其中，所述处理器用于执行所述机器可读指令以：

对所述机器学习编码器进行训练，其中，所述训练包括：

确定图像的训练集合，所述训练集合具有关于所述训练集合中的每个图像的对应文本描述；

将所述图像的训练集合施加到所述机器学习编码器；

对于所述训练集合中的每个图像确定所述多模态空间中的图像特征向量；

对于每个对应文本描述确定所述多模态空间中的文本特征向量；以及

创建所述训练集合中的每个图像的联合嵌套，所述联合嵌套包括所述图像的所述图像特征向量和所述文本特征向量。

6.根据权利要求5所述的系统，其中，所述处理器用于执行所述机器可读指令以：

将所述训练集合中的每个图像的所述图像特征向量施加到结构-内容神经语言模型解码器，以获取每个图像的附加文本特征向量；并且

将每个图像的所述附加文本特征向量包括在所述图像的所述联合嵌套中。

7.根据权利要求1所述的系统，其中，所述系统是打印机、移动设备、台式计算机或服务器中的嵌入式系统。

8.根据权利要求1所述的系统，其中，k是使每个k维图像特征向量与对应于每个k维图像特征向量的图像相比占据较少存储空间的值。

9.一种打印机，包括：

处理器；

存储器；

打印机构，

其中，所述处理器用于：

基于将每个图像施加到机器学习编码器来确定图像目录中的每个图像的k维图像特征向量，其中，所述k维图像特征向量在多模态空间中可表示；

接收查询；

基于将被接收的所述查询施加到所述机器学习编码器来确定被接收的查询的k维文本特征向量；

在所述多模态空间130中将所述k维文本特征向量与所述k维图像特征向量相比较；

根据所述比较来识别匹配图像；并且

使用所述打印机构来打印所述匹配图像中的至少一个匹配图像。

10.根据权利要求9所述的打印机，进一步包括：

显示器，其中，所述处理器用于：

在所述显示器上显示所述匹配图像；并且

接收对所述匹配图像中的用于打印的至少一个匹配图像的选择。