[发明专利]基于全局与局部上下文感知的零样本学习图像分类方法

权利要求书

1.一种基于全局与局部上下文感知的零样本学习图像分类方法，其特征在于，所述方法包括：

1)使用深度神经网络对图像进行特征提取，得到多层特征图；

2)对任意一层特征图，使用全局注意力进行计算，得到包含全局信息的特征图；

3)对同一层特征图，使用局部注意力进行计算，得到代表局部信息的特征向量；

4)对于多层重复步骤2)与步骤3)的操作，得到多个全局特征图和局部特征向量；

5)将最后一层全局特征图通过全连接层得到全局特征向量；将多组局部特征向量进行逐元素加和，得到完整局部特征向量；

将完整局部特征向量和全局特征向量进行拼接，同时投影到语义空间和隐特征空间，分别采用softmax损失和三元组损失进行参数优化；

重复上述步骤，设置多个周期进行训练，得到一个表征能力强的零样本学习模型，通过训练后的零样本学习模型对图像进行分类；

所述对任意一层特征图，使用全局注意力进行计算，得到包含全局信息的特征图具体为：

获取空间自注意力模块权重矩阵，利用所得到的权重矩阵对特征值进行加权，得到加权值采用残差链接的方式，在加权特征的基础上加上得到

将得到的重定维到与原始特征图一样大小，将作为新的特征图输入到下一层神经网络，在多层特征图采取相同的操作，将全局上下文信息传递到最后一层；

所述对同一层特征图，使用局部注意力进行计算，得到代表局部信息的特征向量具体为：

通过空间转换器计算并与原特征图进行矩阵乘法得到相对应的多个区域Rs，对每一个区域Rs，采用inception提取特征：

对提取的特征采用全局最大池化和全局平均池化对IR进行处理；对多个区域得到的IR′,采用逐元素加法进行处理，得到最终代表局部区域的特征；分别学习视觉-语义映射和视觉-隐映射，并进行拼接。

2.根据权利要求1所述的一种基于全局与局部上下文感知的零样本学习图像分类方法，其特征在于，所述空间自注意力模块权重矩阵具体为：

其中，代表变量的维度信息，softmax_col为对矩阵按照列计算softmax得分，为重定维查询特征的转置，为重定维键特征，T为转置，L＝H×W为特征图的长与宽的乘积。

3.根据权利要求2所述的一种基于全局与局部上下文感知的零样本学习图像分类方法，其特征在于，

所述加权值为：

其中，α为平衡因子；C为特征图的通道数，为重定维的特征图。