[发明专利]基于多注意力机制互信息的分布式小样本图像分类系统

权利要求书

1.基于多注意力机制互信息的分布式小样本图像分类系统，其特征主要包含以下步骤：

(1)将原始图像数据集随机划分为带标签的基类数据集和仅有少量带标签数据的新类数据集；

(2)将划分好的基类数据送入ConvNet提取样本初始特征f_φ；

(3)将提取到f_φ的特征送入通道注意力机制网络和空间注意力机制网络提取更具有表示性的特征M_c(f_φ)和M_s(f_φ)；

(4)将利用注意力机制提取到的特征M_c(f_φ)和M_s(f_φ)送入标签传播网络训练得到网络的预测值P₁，P₂和损失值J₁，J₂；

(5)利用得到的预测值P₁，P₂和损失值J₁，J₂通过互学习模块进行融合，得到网络最终的损失值，并计算出每个分布式节点的梯度；

(6)最后利用all-reduce算法聚合每个分布式节点的梯度进行分布式训练；

(7)训练阶段结束以后得到训练好的模型，再将新类数据送入模型进行测试，得到模型最终的性能。

2.根据权利要求书1所述的方法，其特征在于将提取到的特征f_φ送入并行的通道注意力机制网络和空间注意力机制网络提取更具有表示性的特征：

其中f_φ表示输入的特征图，MLP表示多层感知机，AvgPool表示平均池化操作，MaxPool表示最大池化操作，和表示经过平均池化和最大池化之后的特征图，w₀和w₁表示多层感知机模型中的两层参数，σ表示sigmoid函数。

其中σ表示sigmoid函数。和表示经过平均池化操作和最大池化操作之后的特征图。f^7×7表示卷积操作使用过的是7×7的卷积核。

3.根据权利要求书1所述的方法，其特征在于通过互学习模块融合不同网络的信息，得到网络最终的损失值，本发明的互学习利用了不同注意力机制提取到的特征，不是简单的将相同网络进行互学习。首先计算两个网络预测结果之间的KL(Kullback-Leibler)距离：

其中P₁,P₂表示两个网络的预测结果，x_i表示特征提取之后的样本特征，N表示支持集中的样本的类别数，K表示每个类别中的样本数，T表示查询集中的样本数。之后根据KL距离计算网络最终的损失：

L₁＝J₁+D_KL(P₁||P₂)

L₂＝J₂+D_KL(P₂||P₁)

L＝L₁+L₂

其中J₁,J₂表示两个网络的损失，L₁,L₂表示两个网络经过互学习之后的损失。

4.根据权利要求书1所述的方法，其特征在于聚合每个分布式节点的梯度进行分布式训练，在进行分布式训练的过程中，每个节点由独立的进程控制，每个节点上的模型相同，都有自己的向前过程，在最终计算出各个节点的梯度之后，对梯度进行聚合，保证更新模型参数的同步。