[发明专利]一种基于图像检索增强的航拍图像分类方法及装置

说明书

本发明公开了一种基于图像检索增强的航拍图像分类方法及装置，方法包括数据集构建、模型构建、模型训练以及分类步骤，在主干网络中，特征嵌入经过全连接层的前向传播得到基础分类概率；在检索分支中，特征嵌入在检索表中进行得到相应文本信息，后通过文本编码器的前向传播得到检索的分类概率；将两个分类概率进行归一化和求和，经过角度惩罚模块得到最终的分类概率；然后计算角度惩罚损失，反向传播更新网络参数，最终得到分类模型，最后利用分类模型进行测试。本发明能够利用检索来增加分类网络预测的分类概率，增强分类性能，能够利用角度惩罚损失，增加惩罚裕度，直接优化测地距离弧度，使得每个类具有更高的可区分性，提高了分类的准确性。

技术领域

本发明涉及深度学习和计算机视觉技术领域，尤其涉及一种基于图像检索增强的航拍图像分类方法及装置。

背景技术

近年来，随着无人机等航拍设备的普及，产生了大量的航拍图像，而对这些图像进行内容的识别，在农业、海洋等领域有着广泛的应用。如何准确的进行这些图像的识别，成为了其应用推广中的必要一环。

现在的许多航拍图像数据是分布不均衡的、长尾分布的，大概率事件的图像就多，相反，小概率事件的图像则很少；同时，又因为航拍角度，拍摄时间、地点的变化，导致相同内容的图像表现的却是多种多样。导致计算机视觉中的深度学习模型训练困难，对于图像的识别准确率较低。

目前，针对以上问题，现有技术中大部分解决方案都是围绕重采样和重加权，重采样是对头部类别的欠采样和对尾部类别的过采样，重加权则是对不同的类损失赋予不同发权重值，最大限度的减少训练损失，虽然可以改善长尾问题，会导致尾部的少量数据被反复学习，缺少足够多的样本差异，不够鲁棒，头部拥有足够差异的大量数据又得不到充分学习。

由此可知，现有技术中的方法存在分类准确性不高的技术问题。

发明内容

本发明提供了一种基于图像检索增强的航拍图像分类方法及装置，用以解决或者至少部分解决现有技术中的方法存在分类准确性不高的技术问题。

为了解决上述技术问题，本发明第一方面提供了一种基于图像检索增强的航拍图像分类方法，包括：

S1：构建用于模型训练的训练数据集，训练数据集包括航拍图片和标签信息，基于训练数据集构建用于检索的外部存储数据，外部存储数据包括航拍图片和标签信息；

S2：构建图像分类模型，模型包括特征提取模块、主干网络、检索分支、归一化求和模块和角度惩罚模块，其中，特征提取模块用于采用预训练的编码器对输入的图片进行特征提取，得到特征嵌入，主干网络用于采用编码器对训练数据的特征嵌入进行处理，并进行前向传播得到基础分类概率，检索分支用于将外部存储数据的特征嵌入在预先构建的检索表进行检索，得到与外部存储数据相似的数据，获得对应的标签信息，然后通过文本编码器的前向传播得到检索分类概率，归一化求和模块用于对基础分类概率和检索分类概率进行归一化求和，角度惩罚模块用于根据归一化求和的结果得到最终分类概率；

S3：对构建的图像分类模型进行训练，训练过程中计算角度惩罚损失，并反向传播更新网络参数，得到训练好的图像分类模型；

S4：利用训练好的图像分类模型对待分类图像进行分类。

在一种实施方式中，主干网络和检索分支的编码器使用ViT网络模型，基于transformer和attention机制，得到与输入数据对应的特征嵌入。

在一种实施方式中，检索分支的处理过程包括：

在预先构建的检索表中采用k-NN近邻算法获得k个相似的数据的索引；

根据索引得到相似的数据的标签信息；

将相似的数据的标签信息输入文本编码器，通过文本编码器的前向传播将标签信息编码到与基础分类概率相同形状的分类概率，作为检索分类概率。