[发明专利]一种基于图像检索增强的航拍图像分类方法及装置

权利要求书

1.一种基于图像检索增强的航拍图像分类方法，其特征在于，包括：

S1：构建用于模型训练的训练数据集，训练数据集包括航拍图片和标签信息，基于训练数据集构建用于检索的外部存储数据，外部存储数据包括航拍图片和标签信息；

S2：构建图像分类模型，模型包括特征提取模块、主干网络、检索分支、归一化求和模块和角度惩罚模块，其中，特征提取模块用于采用预训练的编码器对输入的图片进行特征提取，得到特征嵌入，主干网络用于采用编码器对训练数据的特征嵌入进行处理，并进行前向传播得到基础分类概率，检索分支用于将外部存储数据的特征嵌入在预先构建的检索表进行检索，得到与外部存储数据相似的数据，获得对应的标签信息，然后通过文本编码器的前向传播得到检索分类概率，归一化求和模块用于对基础分类概率和检索分类概率进行归一化求和，角度惩罚模块用于根据归一化求和的结果得到最终分类概率；

S3：对构建的图像分类模型进行训练，训练过程中计算角度惩罚损失，并反向传播更新网络参数，得到训练好的图像分类模型；

S4：利用训练好的图像分类模型对待分类图像进行分类。

2.如权利要求1所述的基于图像检索增强的航拍图像分类方法，其特征在于，主干网络和检索分支的编码器使用ViT网络模型，基于transformer和attention机制，得到与输入数据对应的特征嵌入。

3.如权利要求1所述的基于图像检索增强的航拍图像分类方法，其特征在于，检索分支的处理过程包括：

在预先构建的检索表中采用k-NN近邻算法获得k个相似的数据的索引；

根据索引得到相似的数据的标签信息；

将相似的数据的标签信息输入文本编码器，通过文本编码器的前向传播将标签信息编码到与基础分类概率相同形状的分类概率，作为检索分类概率。

4.如权利要求3所述的基于图像检索增强的航拍图像分类方法，其特征在于，在获得与外部存储数据相似的数据的索引之后，所述方法还包括：

将索引中的第一个结果进行丢弃。

5.如权利要求1所述的基于图像检索增强的航拍图像分类方法，其特征在于，角度惩罚模块包括一个归一化权重的全连接层，对输入的数据进行归一化，使得输出的值只与角度有关，具体方式为：

f^c(x)表示主干网络得到的基础分类概率，f^r(x)表示检索分支得到的检索分类概率。

6.如权利要求1所述的基于图像检索增强的航拍图像分类方法，其特征在于，步骤S3中的角度惩罚损失的计算方式为：

其中，N为训练设置的批量大小，n为类别数，y_i为第i个样本的类别，θ_j为第j类的角度，θ_yi为第i个样本所属类的角度，s为缩放值，β为在β分布上的随机取值。

7.一种基于图像检索增强的航拍图像分类装置，其特征在于，包括：

数据集构建模块，用于构建用于模型训练的训练数据集，训练数据集包括航拍图片和标签信息，基于训练数据集构建用于检索的外部存储数据，外部存储数据包括航拍图片和标签信息；

模型构建模块，用于构建图像分类模型，模型包括特征提取模块、主干网络、检索分支、归一化求和模块和角度惩罚模块，其中，特征提取模块用于采用预训练的编码器对输入的图片进行特征提取，得到特征嵌入，主干网络用于采用编码器对训练数据的特征嵌入进行处理，并进行前向传播得到基础分类概率，检索分支用于将外部存储数据的特征嵌入在预先构建的检索表进行检索，得到与外部存储数据相似的数据，获得对应的标签信息，然后通过文本编码器的前向传播得到检索分类概率，归一化求和模块用于对基础分类概率和检索分类概率进行归一化求和，角度惩罚模块用于根据归一化求和的结果得到最终分类概率；

模型训练模块，用于对构建的图像分类模型进行训练，训练过程中计算角度惩罚损失，并反向传播更新网络参数，得到训练好的图像分类模型；

分类模块，用于利用训练好的图像分类模型对待分类图像进行分类。