[发明专利]基于双注意力流的少样本细粒度图像识别方法

权利要求书

1.一种基于双注意力流的少样本细粒度图像识别方法，其特征在于，包括以下步骤：

步骤1，提取样本的特征图，生成特征图的空间注意力图引导，利用注意力引导机制，生成用于软注意力流的加权特征图，同时筛选出用于硬注意力流的深度描述符；具体如下：

对于输入的样本，经过卷积神经网络得到一个三维的特征图张量

其中、与分别代表的特征长度、特征宽度与通道数；

基于注意力机制生成特征图的空间注意力图；

将空间注意力图拓展成维度为的张量，与特征图计算分素乘积得到加权后的特征图：

将用于软注意力流；特征图可视为个长度为的深度描述符向量，空间注意力图的H×W个值可表示为对应位置的深度描述符是一个关键部位的概率；设置一个阈值，将中的值小于的位置对应的深度描述符删除，则留下来的深度描述符：

其中表示保留的深度描述符的数量；

步骤2，加权特征图使用全局聚合操作得到全局嵌入特征；将一个样本筛选出的所有深度描述符建模为一个多示例学习的包，使用基于图的多示例学习方法挖掘样本部件之间的关系，得到部件嵌入特征；

使用两个注意力流分别得到全局嵌入特征和部件嵌入特征，软注意流中加权特征图使用全局聚合操作得到全局嵌入特征；硬注意力流中，将一个样本筛选出的所有深度描述符建模为一个多示例学习的包，使用基于图的多示例学习方法挖掘样本部件之间的关系，得到部件嵌入特征：

软注意力流中，经过全局最大池化和全局平均池化分别得到两个全局表示向量和；

硬注意力流中，将筛选出的深度建模为多示例包，每个深度描述符都是包中的一个示例，使用基于图的方法去建模这些示例之间的关系并将这些示例整合到一个通用特征向量中：首先初始化图，图的节点为包的所有示例，节点的边由图节点之间的距离决定：

其中意味距离最小的个节点对；即获得了初始化的图；使用图卷积操作对示例之间的关系进行建模：

其中为图中节点的特征表示，为图中节点特征向量的维度，为图的第个操作层，为第层所学习的转移矩阵，为矩阵变换的维度，为一个非线性激活函数；经过多层图卷积操作的信息传递之后能够学习和建模节点之间的关系和固有结构；最终能够基于图的方法从中学习到最终的示例表示：

其中为节点的最终特征向量的维度；

为了将这些示例聚合为长度固定的向量表示，学习一个分配矩阵将分配到个对应着细粒度样本的关键部位的语义簇中：

所有的样本的语义簇的数量都是相同的，保证所有样本的聚合节点的汇合向量的长度一致；

步骤3，将两个注意力流得到的全局嵌入特征和部件嵌入特征拼接得到样本最终的嵌入表示，基于原型表示和最近邻方法进行类别预测和模型训练。

2.根据权利要求1所述的基于双注意力流的少样本细粒度图像识别方法，其特征在于，基于注意力机制生成特征图的空间注意力图，具体为：

对特征图使用通道全局最大池化和全局平均池化得到两个维度为的池化特征图，拼接在一起得到全局池化特征图再对其使用一个大尺度的卷积核进行卷积，经过sigmoid激活函数得到空间注意力图：

其中表示sigmoid运算，表示卷积运算，和分别表示全局平均池化和全局最大池化。

3.根据权利要求1所述的基于双注意力流的少样本细粒度图像识别方法，其特征在于，在步骤3中，将两个注意力流得到的全局嵌入特征和部件嵌入特征拼接得到样本最终的嵌入表示，基于原型表示和最近邻方法进行类别预测，具体如下：

步骤2的两个注意力流分别得到了全局嵌入表示和部件嵌入表示，将之汇合得到样本的最终嵌入表示：

通过将所有的支持样本和查询样本经过双注意力流模型获得特征嵌入，通过计算样本的特征嵌入与所有原型的softmax距离得到其类别的预测分布：

其中为距离函数，为类别的原型且。

4.根据权利要求3所述的基于双注意力流的少样本细粒度图像识别方法，其特征在于，使用欧氏距离的平方作为距离函数。