[发明专利]基于全局与局部视觉特征协同分类方法、设备及存储介质

说明书

本发明公开了一种基于全局与局部视觉特征协同分类方法，包括如下步骤：步骤1，采用CNN网络提取图像特征，将图像映射到一个3D特征张量；步骤2，采用特征处理模块对该特征张量进行处理后，得到增强后的新特征张量；步骤3，将增强后的新特征张量分别进行全局特征分类和局部特征分类，将全局特征与局部特征的分类结果融合获得最终分类结果。本发明还公开了一种实现基于全局与局部视觉特征协同分类方法的设备。本发明将分类相关的局部信息和全局信息结合在统一的框架内，充分利用了样本中的全局信息和局部信息，克服了现有方法中只使用全局信息或局部信息的缺陷。

技术领域

本发明涉及一种细粒度少样本分类方法，特别涉及一种基于全局与局部视觉特征协同分类方法、设备及存储介质。

背景技术

目前，机器学习技术在数据挖掘和应用上取得了巨大的成功，但当数据集比较小时，其效果往往会大打折扣。因此人们提出少样本学习(Few-Shot Learning)来解决这一问题。通过使用先验知识，在只使用一小部分有监督的样本时，FSL也可以迅速适应新的任务。一些典型的少样本学习应用场景是出于隐私安全或伦理问题时，有监督的信息极难获取。例如药品研发时，我们希望发现对于疾病治疗有用的药物分子，但由于可能存在的毒性等问题，新药物分子可能只有很少的临床记录。因此，如何高效利用这宝贵的样本就变得十分重要。通过少样本学习，使得利用这些稀有样本得到良好模型成为了可能。

近些年来，针对少样本学习问题，不少提出了多种方法，大体可分为两类:基于全局特征的方法和基于局部特征的方法。前一种方法使用全局特征表示整个图像，对全局特征进行处理；后一种方法捕捉图像局部特征，然后测量局部特征之间的距离。但全局特征忽略了图像上的局部信息，而只捕捉图像局部信息，则忽略了图像的整体连接，容易造成过拟合。细粒度图像一般具有类内差异大，类间差异小的特点。因此，对于分类难度更高的细粒度少样本图像来说，现有的这些方法很难获得一个优良的结果。

因此，亟需提出一种新型少样本学习方法来解决上述的问题。

发明内容

本发明为解决公知技术中存在的技术问题而提供一种基于全局与局部视觉特征协同分类方法、设备及存储介质。

本发明为解决公知技术中存在的技术问题所采取的技术方案是：一种基于全局与局部视觉特征协同分类方法，包括如下步骤：

步骤1，采用CNN网络提取图像特征，将图像映射到一个3D特征张量；

步骤2，采用特征处理模块对该特征张量进行处理后，得到增强后的新特征张量；

步骤3，将增强后的新特征张量分别进行全局特征分类和局部特征分类，将全局特征与局部特征的分类结果融合获得最终分类结果。

进一步地，步骤1中，采用CNN网络提取图像特征的具体方法包括如下分步骤：

步骤A1，编制预训练样本数据集；

步骤A2，从已有CNN预训练网络模型中，选取与训练样本相匹配的CNN预训练网络模型；选取的CNN预训练网络模型包括卷积层、平均池化层及全连接层：用预训练样本数据集对选取的CNN预训练网络模型进行预训练；

步骤A3，对选取的CNN预训练网络模型进行结构调整，去掉其最后的全连接层，保留其卷积层及平均池化层；

步骤A4，采用调整后的CNN预训练网络模型提取样本原始图像特征。

进一步地，步骤2包括如下分步骤：

步骤B1，对由样本原始图像特征映射的特征张量F_o分别进行通道注意力加权及空间注意力加权，对应得到通道注意力特征张量F_o-C和空间注意力特征张量F_o-S；