[发明专利]一种应用于小样本细粒度学习的网络结构及方法

权利要求书

1.一种应用于小样本细粒度学习的网络结构，其特征在于，包括嵌入模块和关系模块；所述嵌入模块用于将输入的支持集和查询集图片提取一阶信息；并对提取到的一阶信息继续进行处理形成二阶并带有注意力机制的图像表示；最后对一阶信息和二阶带有注意力机制的图像表示信息进行级联形成最终的图像表示；所述关系模块通过对支持集和查询集的图像表示使用k-NN算法进行分类，在支持集中找到跟查询集图片最相近的图片，最终完成小样本细粒度分类任务。

2.根据权利要求1所述一种应用于小样本细粒度学习的网络结构，其特征在于，所述关系模块将收集到的支持集和查询集通过嵌入模块形成的最终的图像表示进行分类，帮助嵌入模块形成代表性的图像表示的同时减少过拟合。

3.一种基于注意力机制的小样本细粒度学习方法，其特征在于，包括以下步骤：

(1)来自支持集和查询集的图片首先被送入到嵌入模块；经过嵌入模块获得输入图片的带有注意力机制的一阶二阶图像表示；嵌入模块分为一阶信息获取网络，带有注意力的二阶信息获取网络和一阶二阶信息融合部分；

(2)通过关系模块对带有注意力机制的一阶二阶图像表示进行分类，首先通过一个独热编码(One-hot)的分类器进行分类，使用独热编码可以找到图像的唯一类别，分类过程中产生的损失即用于优化嵌入模块的网络，同时作为一种正则化项帮助关系模块进行分类；其次对支持集和查询集的样本使用k-NN算法，将查询集样本的图像表示和k个各类别支持集样本的图像表示之间的余弦距离作为查询集样本到每个类别之间的距离；最后将距离最近的类别作为查询集样本的类别。

4.根据权利要求3所述一种基于注意力机制的小样本细粒度学习方法，其特征在于，步骤(1)具体如下：

(101)使用四个1*1的卷积作为一阶信息获取网络，建立起样本到一阶信息之间的映射关系；

假设投入的图片表示成S_ij，i和j分别表示输入图像的行和列；经过一阶信息获取网络得到的结果表示成其中表示图像的一阶信息，f₁表示学习到的样本和一阶信息之间的映射关系，Φ表示经过学习得到的一阶信息获取网络的权重，S_ij表示输入的图像矩阵；通过上述的公式，获得图像的一阶信息表示；其中的维度表示为h×w×d，分别对应着获得的图像一阶信息表示的高度、宽度和深度；

(102)引入了注意力机制，将获取到的图像一阶信息表示成或其中的表示一个h*w维度的行向量；表示一个h*w维度的列向量；中的每个列向量都理解成是一个图像中的每个像素点在不同卷积核中的表示；若该像素点对最终的分类结果占比重要，将会在卷积核中获得较大的数值；因此采用Softmax的方法，找到对分类重要的局部像素点；

将注意力机制应用到卷积核中；的行向量理解成输入图像在每个卷积核中的表示，同样采用Softmax方法，找到对分类结果重要的卷积核，之后更加关注对应卷积核中的数值；

通过对获取到的图像一阶信息进行双线性映射，获得更加关注局部特征的图像二阶信息

(103)融合一阶信息和二阶信息；获得了带有空间信息的带有局部特征的图像信息。