[发明专利]基于深度学习的鱼类细粒度分类方法

权利要求书

1.一种基于深度学习的鱼类细粒度分类方法，包括以下步骤：

S1：将获取的拍摄图像进行预处理；

S2：使用深度神经网络对预处理后的图像进行特征提取，利用可变卷积为深度神经网络中的卷积层选取合适的采样点，得到特征图；

S3：构建特征金字塔网络作为区域提议网络，在该网络中的每一个特征尺度上设置锚，将步骤S2输出的特征图输入特征金字塔网络，计算每一个锚对应的局部区域的信息量；

S4：取信息量最大的至少四个局部区域进行上采样，输入步骤S2中的深度神经网络，对提取出的区域进行特征提取，输出特征图；

S5：将步骤S2与步骤S4中输出的特征图连接在一起，使用全连接层进行类别的预测，利用标签信息计算损失函数并反向传播，更新区域提议网络参数；

S6：使用搜集好的训练数据集训练出步骤S1到步骤S5构建的网络模型的网络权重参数，采用训练好网络权重参数的网络模型对图像进行分类，输出结果。

2.根据权利要求1所述的基于深度学习的鱼类细粒度分类方法，其特征在于，将步骤S4输出的特征图输入全连接层，对输入图像的类别进行预测，计算深度神经网络对正确类别的信息量并降序排列，通过区域提议网络的损失函数促使步骤S3中的区域的排序与此处的排序顺序一致，为区域提议网络提供监督信号。

3.根据权利要求1所述的基于深度学习的鱼类细粒度分类方法，其特征在于，在步骤S1中，预处理的具体步骤包括：

S1.1：采用双边线性插值将原始图像的尺寸调整到600*600；

S1.2：从插值后的图像中随机裁剪出448*448的图像块；

S1.3：对步骤S1.2得到的图像进行z-score标准化。

4.根据权利要求1所述的基于深度学习的鱼类细粒度分类方法，其特征在于，步骤S2的具体步骤包括：

S2.1：在深度神经网络resnet-50中的第五个卷积模块的a，b，c三个卷积层的前端分别加入一个卷积层，该卷积层对上一层输出的特征图做卷积操作，输出特征图上每个采样点对应的偏移量，在第五个卷积模块的a，b，c三个卷积层中的采样点为原采样点经偏移后的位置；

S2.2：在确定了采样点的偏移量后，第五个卷积模块的a，b，c三个卷积层输出的特征图上的每一个点的值由公式计算，式中，x为输入的特征图，y为输出的特征图，R为普通卷积的感受野，p₀是输出特征图上的点，p_n为普通卷积上的采样点，Δp_n为偏移量，w(p_n)为采样点上的权重。

5.根据权利要求1所述的基于深度学习的鱼类细粒度分类方法，其特征在于，步骤S3的具体步骤包括：

经步骤S2输入图像被32倍降采样，输出的特征图大小为14*14，在特征金字塔网络中自底向上采用三层3*3的卷积层，步长分别为1、2、2，由此产生14*14、7*7和4*4三个特征尺度，与之对应，锚的尺寸分别取48、96和192，在每个尺度上锚的长宽比取值为1：1，2：3和3：2，横向连接采用1*1的卷积层。

6.根据权利要求1所述的基于深度学习的鱼类细粒度分类方法，其特征在于，步骤S4的具体步骤包括：

S4.1：依据步骤S3输出的每个锚的信息量筛选出信息量最大的至少四个局部区域，采用双边线性插值将局部图像的尺寸调整至224*224；

S4.2：将步骤S4.1输出的局部图像输入到resnet-50网络中做特征提取，输出特征图。

7.根据权利要求2所述的基于深度学习的鱼类细粒度分类方法，其特征在于，为区域提议提供监督信号的具体步骤包括：

首先，将特征图输入全连接层，输出类别与信息度，将分类类别与标签一致的输出按照信息量大小降序排列；

其次，定义区域提议网络的损失函数为式中，I表示步骤S3输出的信息量，C表示全连接层输出的信心度，f(x)为非增函数，定义f(x)＝max(1-x,0)，这样促使区域提议中认为的信息量大的区域用于分类时能够正确分类，且分类信息量大，由此在不添加额外标签信息的情况下为区域提议网络提供弱监督信号。