[发明专利]基于多注意力机制互信息的分布式小样本图像分类系统

说明书

本发明公开了一种基于多注意力机制互信息的分布式小样本图像分类系统。通过卷积神经网络或残差网络简单提取图像特征，之后使用多类型注意力机制对特征做进一步的训练，提取更具有表示性的特征，利用特征得到网络的损失之后通过互学习模块将这些不同的优秀特征进行融合。在训练阶段，本发明考虑到小样本学习的训练效率问题，首次将小样本学习与分布式学习相结合，利用基于All‑Reduce算法的分布式学习进行并行训练，能够显著提高小样本学习的训练效率。本发明是一个即插即用的方法，适用于分布式小样本图像分类系统。

技术领域

本发明主要涉及计算机视觉领域，具体来说本发明设计了基于多注意力机制互信息的分布式小样本图像分类系统

背景技术

随着人工智能逐渐进入深度时代，深度学习在图像分类任务中取得了显著的成果。一般而言深度学习模型的优秀效果需要有三点保障，一是复杂的深度模型，二是大规模的数据集，三是强大的计算能力。然而，即使在大数据时代的今天，由于稀有性，隐私性等特点，许多数据的获取是十分困难的，例如医疗领域中稀有疾病的图像、动物学领域中濒危动物的图像以及经济学中一些涉密的图像数据，因此能够得到一个不需要大量图像数据进行训练即可达到高泛化性能的图像分类器对于许多领域来说是十分重要的，因此小样本学习成为了深度学习在图像分类领域的热门研究方向。

近年来人们提出了许多小样本学习方法，大致分为基于度量的小样本学习方法、基于语义的小样本学习方法、基于数据增广的小样本学习方法和基于优化的小样本学习方法，这些方法都为小样本学习的发展做出了巨大的贡献。然而现有方法也还存在一些问题，首先现存方法大多只关注下游任务，忽略了特征提取的重要性，其次在小样本学习中很少有人关注到小样本学习的效率问题，因此本发明提出了基于多注意力机制互信息的分布式小样本图像分类系统，旨在解决上述两个现有方法的问题。

发明内容

技术问题：本发明所要解决的问题是，小样本场景下由于数据量少造成的特征提取不具有表示性的问题以及由于模型复杂度高造成的训练效率低的问题。本发明通过在传统小样本方法中引入注意力机制和分布式学习来进一步提升小样本学习的分类准确率以及训练速度。

技术方案：具体而言，基于多注意力机制互信息的分布式小样本图像分类系统包括以下步骤：

(1)将原始样本数据集划分为带标签的基类数据和仅带有少量标签的新类数据；

(2)特征提取模块，将划分好的基类数据通过ConvNet主干网络提取图像样本的基础特征f_φ；

(3)注意力机制模块，在提取到基础特征f_φ之后，将这些基础特征送入不同的注意力机制网络进行进一步特征提取，得到更具有表示性的特征M_c(f_φ)和M_s(f_φ)；

(4)标签传播网络，利用提取到的特征M_c(f_φ)和M_s(f_φ)输出预测的结果P₁，P₂，得到预测结果之后，计算预测结果与真实标签之间的损失J₁，J₂；

(5)互学习模块，根据不同注意力机制网络得到的不同损失J₁，J₂和预测值P₁，P₂，利用互学习模块得到最终的网络损失和梯度；

(6)分布式训练，得到每个分布式节点的梯度之后，进行梯度平均，保证并行训练时模型的同步更新。

(7)训练阶段结束以后得到训练好的模型，再将新类数据送入模型进行测试，得到模型最终的性能。

有益效果：本发明与现有的技术相比，具有以下优点：