[发明专利]一种基于二阶特征的鸟类细粒度识别方法

权利要求书

1.一种基于二阶特征的鸟类细粒度识别方法，其特征在于，包括如下步骤：

步骤1，采集高质量的鸟类图像数据，组成鸟类数据集D_bri；

步骤2，对采集到的鸟类数据集D_bri进行质量检测并进行数据标记，得到鸟类图像识别数据集D_br；

步骤3，对标记好的鸟类图像识别数据集D_br进行数据增强，得到扩充后的鸟类数据集D_bra；

步骤4，利用包含分类数据的开源数据集D_openr对鸟类细粒度分类模型Model_{bird_recognition}进行Pre-train操作；

步骤5，利用数据增强后的鸟类数据集D_bra对预训练后的细粒度分类模型Model_{bird_recognition}进行训练，使用代价敏感学习的方法对不同种类的损失函数进行重加权，损失函数使用交叉熵损失函数，重加权系数如下：

其中N_i为第i个类别鸟类图像的样本数目，M为训练数据集中样本的种类数目；

将原始图像特征转变为二阶特征；

步骤6，利用摄像头采集野外场景下的鸟类保护区图像数据；

步骤7，利用在开源数据集D_opend上完成训练的目标检测模型Model_{bird_detection}对鸟类主体进行检测，并利用检测框过滤鸟主体以外的背景；

步骤8，对鸟主体图像进行插值处理；

步骤9，利用部署在后端服务器上训练好的鸟类细粒度分类模型Model_{bird_recognition}对步骤8处理后的帧图像进行鸟类的识别，输出识别结果。

2.根据权利要求1所述的鸟类细粒度识别方法，其特征在于，步骤2中，对采集到的鸟类数据集D_bri进行图像质量检测，保证每张图像中出现鸟类区域的最小外接矩阵的像素值大于256*232，对通过图像质量检测的数据，进行鸟类类别标签的标定，得到鸟类图像识别数据集D_br。

3.根据权利要求1所述的鸟类细粒度识别方法，其特征在于，步骤3中对图像数据分别通过如下方法来进行数据增强，产生增强后的图像：

1)利用图像切割的方式对数据集进行数据增强，其方式为生成比图像尺寸小一些的矩形框，对图像进行随机的切割，最终以矩形框内的图像作为训练数据；

2)利用图像翻转的方式对数据集进行数据增强，其方式为对图像进行左右翻转，并将翻转前和翻转后的图像同时作为训练数据；

3)利用图像白化的方式对数据集进行数据集增强，其方式为对图像进行白化操作，即将图像本身归一化成Gaussian(0,1)分布，将归一化前及归一化后的图像同时作为训练数据。

4.根据权利要求1所述的鸟类细粒度识别方法，其特征在于，步骤4中，对鸟类细粒度分类模型Model_{bird_recognition}的特征提取器进行Pre-train操作，训练使用优化方法为Adam优化器，使用初始学习率为0.001，其中使用的基础特征提取模块采用ResNet50网络。

5.根据权利要求4所述的鸟类细粒度识别方法，其特征在于，步骤5中包括使用bilinear feature方法，将原始图像特征转变为二阶特征B(F)，进行如下操作：

B(F)＝∑_fl∈Fbilinear(fl,F,f_A,f_B)

其中，F为每张图像的整个feature map，fl为feature map中的一个位置的像素点，f_A为第一个ResNet50网络所提取的图像特征，f_B为第二个ResNet50网络所提取的图像特征。

6.根据权利要求1所述的鸟类细粒度识别方法，其特征在于，步骤6中，使用部署在实际场景下的摄像头采集野外场景下的鸟类保护区的图像数据，使用ffmpeg的方式来进行视频推流。