[发明专利]使用比较集对输入样本进行分类的方法、系统和存储介质

权利要求书

1.一种由一个或多个计算机执行的用于使用比较图像的比较集来对新图像进行分类的方法，该方法包括：

维持比较集，所述比较集包括多个比较图像和多个比较图像中的每一个的相应标签矢量，每个标签矢量包括预定标签集中的每个标签的相应分数；

接收新图像；

通过将神经网络注意力机制应用于所述新图像和所述比较图像，来为每个比较图像确定表征所述比较图像和所述新图像之间的相似性的水平的相应注意力权重；以及

根据所述比较图像的相应注意力权重和所述比较图像的相应标签矢量为每个比较图像生成预定标签集中的每个标签的相应标签分数，其中所述每个标签的相应标签分数表示标签是所述新图像的正确标签的可能性，

其中，生成所述预定标签集中的每个标签的相应分数包括：

对于每个比较图像，将所述比较图像的标签矢量乘以所述比较图像的注意力权重以生成所述比较图像的加权的标签矢量；以及

对所述加权的标签矢量求和以生成组合的标签矢量，所述组合的标签矢量包括所述预定标签集中的每个标签的相应标签分数。

2.如权利要求1所述的方法，其中，确定每个比较图像的相应注意力权重包括：

使用比较图像神经网络来处理所述比较图像以确定所述比较图像的数字嵌入；

使用新的图像神经网络来处理所述新图像以确定所述新图像的数字嵌入；以及

通过确定所述比较图像的数字嵌入与所述新图像的数字嵌入之间的相似性度量来确定所述相应注意力权重。

3.如权利要求2所述的方法，其中，所述相似性度量是余弦距离。

4.如权利要求2所述的方法，其中，所述比较图像神经网络是被配置为处理来自所述比较集中的比较图像的比较图像序列的上下文中的比较图像、以生成所述比较图像的数字嵌入的双向长短期记忆(LSTM)神经网络。

5.如权利要求2所述的方法，其中，所述新的图像神经网络是对所述多个比较图像的数字嵌入具有读取注意力的LSTM神经网络，其被配置为处理包括所述新图像的K个实例的序列以生成所述比较图像的数字嵌入。

6.如权利要求2所述的方法，其中，所述比较图像神经网络是被配置为接收输入比较图像并生成所述比较图像的嵌入的卷积神经网络。

7.如权利要求2所述的方法，其中，所述新的图像神经网络是被配置为接收输入新图像并生成所述新图像的嵌入的卷积神经网络。

8.如权利要求2所述的方法，其中，所述新的图像神经网络和所述比较图像神经网络共享至少一些参数。

9.如权利要求1所述的方法，其中，所述神经网络注意力机制已经通过对与所述比较集不同的训练图像集进行训练而被学习。

10.一种包括一个或多个计算机以及存储指令的一个或多个存储设备的系统，所述指令在由所述一个或多个计算机运行时使得所述一个或多个计算机执行使用比较图像的比较集来对新图像进行分类的操作，所述操作包括：

维持比较集，所述比较集包括多个比较图像和多个比较图像中的每一个的相应标签矢量，每个标签矢量包括预定标签集中的每个标签的相应分数；

接收新图像；

通过将神经网络注意力机制应用于所述新图像和所述比较图像，来为每个比较图像确定表征所述比较图像和所述新图像之间的相似性的水平的相应注意力权重；以及

根据所述比较图像的相应注意力权重和所述比较图像的相应标签矢量为每个比较图像生成预定标签集中的每个标签的相应标签分数，其中所述每个标签的相应标签分数表示标签是所述新图像的正确标签的可能性，

其中，生成所述预定标签集中的每个标签的相应分数包括：

对于每个比较图像，将所述比较图像的标签矢量乘以所述比较图像的注意力权重以生成所述比较图像的加权的标签矢量；以及

对所述加权的标签矢量求和以生成组合的标签矢量，所述组合的标签矢量包括所述预定标签集中的每个标签的相应标签分数。