[发明专利]一种基于平衡性联合网络的鱼类多目标跟踪方法

权利要求书

1.一种基于平衡性联合网络的鱼类多目标跟踪方法，其特征在于，包括以下步骤：

步骤1数据集建立与优化，基于中国农业人工智能创新创业大赛数据集，在原数据集基础上进行了优化整理补充，生成了新的OptMFT数据集；通过对数据集做了合并训练，来进一步加强对于复杂环境下的模型的鲁棒性；同时，对一些图像质量较差的负样本图像帧进行了剔除，强化了鱼类目标明显、游动轨迹清晰的数据的训练权重，来进一步提升模型对于鱼类识别的精度；除此之外，对数据集做了全帧训练来增强模型对于鱼群高速游动情况下的鲁棒性验证；

所述鱼类多目标跟踪模型在优化的鱼类多目标跟踪数据集OptMFT上进行试验，主要为养殖桶内的鱼类游动行为数据，摄像头采用海康威视摄像机进行拍摄，视频帧率为25帧/秒；为使该数据集进一步适合本模型的训练，对数据集进行了重新优化整理；

步骤2鱼类多目标跟踪算法的设计与优化，设计了一种平衡性的鱼类多目标跟踪网络来实现多目标跟踪；即鱼类多目标跟踪模型利用嵌入可变形卷积的ResNet-101作为网络的骨干网；利用四个不同的检测跟踪头部进行低维度特征的提取，对高分辨率特征图信息进行双分支使用；将检测器与跟踪器融合到同一个网络中实现，利用检测、跟踪两个分支分别实现鱼类目标的识别与跟踪匹配；在两个分支前设计四个不同的检测、跟踪头部来提取分支所需的特征信息，对骨干网提取的高分辨率特征图进行特征信息的有效提取，在检测中使用anchor-free方法进行鱼类目标的精确定位，跟踪中借鉴DeepSORT思想进行目标匹配与重识别，在复杂的养殖池环境下实现了鱼类目标的高精度跟踪与个体信息保持；

步骤3模型训练评价，在模型训练中使用旷世天元的鱼类多目标跟踪数据集，该数据集中存在着鱼饵残留、光斑影响、水面波纹扰动、鱼群的密集分布产生的互相遮挡、鱼群突然加速导致目标丢失、对比度多变的问题；要求训练模型具有较高的鲁棒性；在训练中使用了Ubuntu 18.04.2LTS系统，采用1张NVIDIA Tesla V100显卡进行模型训练与消融实验；并在该数据集上进行了测试验证；对OptMFT数据集做了全帧训练来增强模型对于高速游动情况下的鲁棒性；

在鱼类多目标跟踪中利用验证模型进行验证：将平衡性联合鱼类多目标跟踪网路与经典算法在OptMFT_light数据集上进行了比较：首先，以Faster RCNN-50-FPN和FasterRCNN-101-FPN作为检测器的骨干网络训练；经过SORT、DeepSORT、Tracktor实验测试验证；以评估检测和重新识别的性能。