[发明专利]基于图像特征深度学习的小球藻和金藻分类识别方法

权利要求书

1. 一种基于图像特征深度学习的小球藻和金藻分类识别方法，其特征在于将待分类识别图像输入至图像特征深度学习的计算机模型中处理，所述图像特征深度学习的计算机模型依次按照如下步骤构建：

步骤1：制备目标检测数据集

步骤1.1：在低倍率电子显微镜条件下，采集含小球藻和金藻的图像；

步骤1.2：将采集的图像经过OpenCV预处理；

步骤1.3：将经过OpenCV预处理的图像通过TinyResNet-15卷积神经网络对图像中的小球藻及金藻进行分类，得到具有小球藻和金藻类别信息的图像；

所述TinyResNet-15卷积神经网络对图像中的小球藻及金藻进行分类步骤如下：

步骤1.3.1将图像传入第一卷积层中，先进行卷积核为3*3、输入通道数为3、输出通道数为64、步长为2填充为3的卷积操作，之后依次进行BN和Relu操作，输出尺寸为64*26*26的特征图；将所述特征图再进行卷积核为3*3、步长为2的最大池化操作，得到尺寸为64*13*13的第一卷积层最终输出特征图out1；

步骤1.3.2将第一卷积层最终输出特征图out1传入第二卷积层中，所述第二卷积层分为两路，一路为基础残差结构，先进行卷积核为1*1、输入通道数与输出通道数均为64、步长为1无填充的第一卷积conv2_1操作，之后进行BN操作；再进行卷积核为3*3、输入通道数与输出通道数均为64、步长填充均为1的第二卷积conv2_2操作，之后是BN操作；再进行卷积核为1*1、输入通道数为64、输出通道数为256、步长为1无填充的第三卷积conv2_3操作，之后依次是BN和Relu操作，得到输出特征图out2_1；另一路为下采样结构，先进行一个卷积核为1*1、输入通道数为64、输出通道数为256、步长为1无填充的卷积操作，之后进行BN操作得到输出特征图out2_2，输出特征图out2_2与输出特征图out2_1相加，得到尺寸为256*13*13的第二卷积层的最终输出特征图out2；

步骤1.3.3将第二卷积层最终输出特征图out2传入第三卷积层中，所述第三卷积层分为两路，一路为基础残差结构，先进行卷积核为1*1、输入通道数为256、输出通道数为128、步长为2无填充的第一卷积conv3_1操作，之后进行BN操作；再进行卷积核为3*3、输入通道数与输出通道数均为128、步长填充均为1的第二卷积conv3_2操作，之后是BN操作；再进行卷积核为1*1、输入通道数为256、输出通道数为512、步长为1无填充的第三卷积conv3_3操作，之后依次是BN和Relu操作，得到输出特征图out3_1；另一路为下采样结构，先进行一个卷积核为1*1、输入通道数为256、输出通道数为512、步长为2无填充的卷积操作，之后进行BN操作得到输出特征图out3_2，输出特征图out3_2与输出特征图out3_1相加，得到尺寸为512*7*7的第三卷积层的最终输出特征图out3；

步骤1.3.4将第三卷积层最终输出特征图out3传入第四卷积层中，所述第四卷积层分为两路，一路为基础残差结构，先进行卷积核为1*1、输入通道数为512、输出通道数为256、步长为2无填充的第一卷积conv4_1操作，之后进行BN操作；再进行卷积核为3*3、输入通道数与输出通道数均为256、步长填充均为1的第二卷积conv4_2操作，之后是BN操作；再进行卷积核为1*1、输入通道数为256、输出通道数为1024、步长为1无填充的第三卷积conv4_3操作，之后依次是BN和Relu操作，得到输出特征图out4_1；另一路为下采样结构，先进行一个卷积核为1*1、输入通道数为512、输出通道数为1024、步长为2无填充的卷积操作，之后进行BN操作得到输出特征图out4_2，输出特征图out4_2与输出特征图out4_1相加，得到尺寸为512*7*7的第三卷积层的最终输出特征图out4；

步骤1.3.5将第四卷积层最终输出特征图out4传入第五卷积层中，所述第五卷积层分为两路，一路为基础残差结构，先进行卷积核为1*1、输入通道数为1024、输出通道数为512、步长为2无填充的第一卷积conv5_1操作，之后进行BN操作；再进行卷积核为3*3、输入通道数与输出通道数均为512、步长填充均为1的第二卷积conv5_2操作，之后是BN操作；再进行卷积核为1*1、输入通道数为512、输出通道数为2048、步长为1无填充的第三卷积conv5_3操作，之后依次是BN和Relu操作，得到输出特征图out5_1；另一路为下采样结构，先进行一个卷积核为1*1、输入通道数为1024、输出通道数为2048、步长为2无填充的卷积操作，之后进行BN操作得到输出特征图out5_2，输出特征图out5_2与输出特征图out5_1相加，得到尺寸为2048*2*2的第五卷积层的最终输出特征图out5；

步骤1.3.6 将最终输出特征图out5进行view操作展开为二维张量，输入全连接层Linear中，输出的2维向量分别对应小球藻及金藻类别的概率，从而得到具有小球藻及金藻类别信息的图像；

步骤1.4采用数字图像处理的方式将每个小球藻及金藻类别信息随机粘贴，人工生成标准格式的目标检测数据集；

步骤2：目标分类识别训练

步骤2.1将目标检测数据集图片输入TinyResNet10卷积神经网络进行特征提取：

步骤2.1.1将目标检测数据集的图片尺寸变成1000*1000，先进行卷积核为7*7、输出特征层64个、步长为2填充为3的第一卷积conv21_1操作，得到特征层，再依次进行BN与Relu操作，得到尺寸为64*500*500的特征图，之后再进行卷积核大小为3*3、步长为2、填充为1的最大池化操作，得到尺寸为64*250* 250的特征图out21；

步骤2.1.2将特征图out21传入第二卷积层中，先进行卷积核为3*3、输入通道数与输出通道数均为64、步长与填充均为1第一卷积conv22_1操作，再依次进行BN与Relu操作，再进行卷积核为3*3、输入通道数与输出通道数均为64、步长与填充均为1第二卷积conv22_2操作，再进行BN操作，最终输出尺寸为64*250*250的特征图out22；

步骤2.1.3将特征图out22传入第三卷积层中，所述第三卷积层分为两路，一路为基础残差结构，先进行卷积核为3*3、输入通道数为64、输出通道数为128、步长为2填充为1的第一卷积conv23_1操作，之后进行BN和Relu操作；再进行卷积核为3*3、输入通道数为128、输出通道数为128、步长为1填充为1的第二卷积conv23_2操作，之后进行BN操作，得到输出特征图out23_1；另一路为下采样结构，先进行一个卷积核为1*1、输入通道数为64、输出通道数为128、步长为2无填充的卷积操作，之后进行BN操作得到输出特征图out23_2，输出特征图out23_2与输出特征图out23_1相加，得到尺寸为128*125*125的第三卷积层的最终输出特征图out23；

步骤2.1.4将特征图out23传入第四卷积层中，所述第四卷积层分为两路，一路为基础残差结构，先进行卷积核为3*3、输入通道数为128、输出通道数为256、步长为2填充为1的第一卷积conv24_1操作，之后进行BN和Relu操作操作；再进行卷积核为3*3、输入通道数为256、输出通道数为256、步长为1填充为1的第二卷积conv24_2操作，之后进行BN操作，得到输出特征图out24_1；另一路为下采样结构，先进行一个卷积核为1*1、输入通道数为128、输出通道数为256、步长为2无填充的卷积操作，之后进行BN操作得到输出特征图out24_2，输出特征图out24_2与输出特征图out24_1相加，得到尺寸为256*63*63的第四卷积层的最终输出特征图out24；

步骤2.1.5将特征图out24传入第五卷积层中，所述第五卷积层分为两路，一路为基础残差结构，先进行卷积核为3*3、输入通道数为256、输出通道数为512、步长为2填充为1的第一卷积conv25_1操作，之后进行BN和Relu操作操作；再进行卷积核为3*3、输入通道数为512、输出通道数为512、步长为1填充为1的第二卷积conv25_2操作，之后进行BN操作，得到输出特征图out25_1；另一路为下采样结构，先进行一个卷积核为1*1、输入通道数为256、输出通道数为512、步长为2无填充的卷积操作，之后进行BN操作得到输出特征图out25_2，输出特征图out25_2与输出特征图out25_1相加，得到尺寸为512*32*32的第五卷积层的最终输出特征图out25；

步骤3：将最终输出特征图out25加入FPN结构，提取5张不同分辨率的特征图out3；

步骤4：设置RPN网络，采用长宽比例为0.8和1.0以及面积为52、152、202来生成锚点框对特征图out3进行区域生成，确定可能有目标的位置；

步骤5：ROI池化层根据可能有目标的位置，在特征图中提取相应的特征向量，之后分为两个分支，其中一个分支使用SoftMax分类获得该位置目标的类别，另一个分支利用BBox-Regression微调检测到的位置框以获得最终的准确位置。