[发明专利]基于卷积神经网络的孟德尔果蝇遗传性状批量鉴别方法

权利要求书

1.一种基于卷积神经网络的果蝇性状批量识别方法，其特征在于，具体步骤为：

步骤一：采集果蝇图片，进行人工标注；划分训练集、验证集、测试集；

将果蝇使用二氧化碳麻醉后，使用移动设备相机，在光学显微镜或解剖镜下采取包含多个果蝇的多张图片；经过人工标注后，按照3:1划分训练集与验证集，训练集与验证集由总共28位实验人员培养果蝇并采集果蝇图片，共包含110张原始图片与约3206个果蝇个体；测试集由互相隔离的6位实验人员培养果蝇并采集果蝇图片，以保证隔离测试的效果；测试集共包含9张原始图片与约405个果蝇个体；训练集用于训练模型，验证集用于监控训练效果，测试集用于验证训练好的模型的性能；标注的内容包括果蝇定位框、果蝇关键点、以及果蝇性状；

步骤二：对果蝇图像进行预处理，确定果蝇定位框坐标；

采用EfficientDet Lite模型作为基础来实现目标检测，具体采取不同规模的EfficientDet Lite模型以应对移动端不同设备的硬件条件；输入图像通过EfficientDetLite模型以及适合移动端运算的全局非极大值抑制方法，输出置信度大于50％的果蝇定位框坐标；根据输出的定位框坐标，对原图像进行裁切，产生多个包含单个果蝇的子图像，作为下一步骤中深度卷积神经网络的输入；

步骤三：构建深度卷积神经网络，并进行训练；

所述深度卷积神经网络，是在MobileNetV3模型基础上构建而成，包括去除最后的全连接层，并在全局平局池化层后并行地追加两个全连接的Sigmoid层，分别对应果蝇的红白眼、长小翅性状；对于长小翅的分类，模型还使用只针对果蝇的专门设计的关键点辅助分类模块；在训练过程中采用随机增强与渐进式学习方法，以提高稳定性并防止过拟合；

所述关键点辅助分类模块，指的是在深度神经网络中，利用关键点数据来辅助模型训练图像分类任务；所述关键点共有四个，分别为果蝇的头部末端、尾部末端以及两翅末端，头部末端、尾部末端的关键点通过二维坐标编码以减小模型规模；同时为了避免模型区分左右翅，并减少数据中的冗余信息，两翅末端的关键点编码方式按照以下规则，其中(x1,y1),(x2,y2)为原始坐标，(a,b,c,d,e)为编码后的结果：

c＝|x₁-x₂|，d＝|y₁-y₂|，

如果(x₁–x₂)*(y₁–y₂)0则e＝1；否则，e＝0；

在深度卷积网络的全局平均池化层上：使用带LeakyRelu激活函数的全连接层对头部末端、尾部末端关键点坐标以及上述(a,b,c,d)进行回归，平均平方误差作为损失函数，记为Loss_{Keypoints MSE}；并行地使用带Sigmoid激活函数的全连接层对上述e进行二元分类，二元交叉熵作为损失函数，记为Loss_{Keypoints BCE}；最后，合并所有九个关键点神经元，再添加一个全连接层，并使用sigmoid函数对果蝇长小翅进行分类，二元交叉熵作为损失函数，记为Loss_{Classification BCE}；在训练的早期阶段，按照以下公式进行加权计算损失：

Loss_total＝Loss_{Keypoints MSE}+ε×Loss_{Keypoints BCE}+ε×Loss_{Classification BCE}，

其中，ε是一个极小值，当关键点对应的损失函数在验证集上收敛后，不再计算关键点对应的损失函数，并使用一个较小的学习率只对长小翅分类器进行训练；

步骤四：重复步骤三，直到验证集上的指标达到最优后停止训练；

步骤五：为了增加模型推理速度并减小模型体积，采用神经网络量化技术，对于目标检测模型使用动态量化，对于分类模型采用浮点数优化，并通过TFLite接口在移动端实现快速推理。