[发明专利]一种基于长短记忆的哺乳仔猪多目标跟踪方法

权利要求书

1.一种基于长短记忆的哺乳仔猪多目标跟踪方法，其特征在于，包括以下步骤：

S1：采集哺乳仔猪视频，建立哺乳仔猪多目标跟踪视频数据库；

S2：搭建CenterReID模型，用哺乳仔猪多目标跟踪视频数据库中的训练集和验证集对该模型进行训练并验证；

S3：用训练好的CenterReID模型对哺乳仔猪多目标跟踪视频数据库中的测试集进行测试，获得哺乳仔猪目标检测结果Dets和特征提取结果Features；

S4：针对不同消失时间再次出现的仔猪，设计适应长短时间外观特征变化匹配机制，利用Dets和Features对连续图像哺乳仔猪进行目标ID匹配，进而获得跟踪结果。

2.根据权利要求1所述的一种基于长短记忆的的哺乳仔猪多目标跟踪方法，其特征在于，所述步骤S1具体步骤如下：

S11：实时采集哺乳仔猪视频，剔除夜晚、昏暗视频片段；

S12：将视频统一帧率为5帧/秒，图像分辨率大小为960×540，获得最终数据集；

S13：将数据集分为训练集、验证集和测试集，并将数据集的每个视频片段转为连续图像，对其进行人工标注，标注小猪边界框与其对应的ID。

3.根据权利要求1所述的一种基于长短记忆的哺乳仔猪多目标跟踪方法，其特征在于，所述步骤S2具体步骤如下：

S21：选择特征提取基础网络；

S22：在基础网络之后，除了已有的Detection分支和Tracking分支外，新添加一个重识别Re-ID分支，其中Detection分支包括hm、wh和reg三个小分支，用于生成仔猪边界框，Tracking分支用于预测此帧中心点到上一帧中心点的偏移，新增的Re-ID分支用于提取仔猪外观特征；

Re-ID分支包括两个卷积层和一个Relu层，输出特征大小为W和H分别为输入图像的长和宽，Dim为输出特征通道数，通过Re-ID提取图像当中每个对应位置的外观特征；

S23：使用交叉熵损失函数对Re-ID分支进行监督训练，目的是使得Re-ID分支生成能够区分仔猪的特征，具有相同ID的仔猪视为一类，对于图像中第i个人工标注框表示bⁱ左上点坐标，表示bⁱ右下点坐标，由公式(2)和公式(3)，能够从热图上获得对应中心点坐标在该位置获得外观特征并学习将其映射到一个类分布向量P＝{p(m)，m∈(1,M)}，p(m)表示类别m的类分布向量，M表示分类的数量，设定第i个人工标注框中心点对应外观特征one-hot编码表示为Lⁱ(m)，则交叉熵损失函数如公式(1)所示，可见在训练过程中，只有位于中心点的外观特征参与训练；

其中，Loss表示损失值，N表示目标数量。

S24：在Pytorch深度学习框架下使用GPU加速训练模型，模型训练方式为交替训练，交替训练Detection分支与Tracking分支以及Re-ID分支；

模型在训练过程中，输入除当前t帧外，辅助加入k时刻帧图像与其对应热图，k∈[t-T,t+T]，且k≠t，根据视频帧率设置不同的T，如公式(4)所示，模型测试时辅助加入t-1时刻帧图像与其对应热图；

其中，fps为采集的视频帧率；

模型参数采用正态分布初始化，在训练过程中使用随机翻转、随机缩放、随机空间裁剪和色彩抖动数据增强技术，利用Adam优化算法和反向传播算法对模型参数进行微调；

用训练集数据训练CenterReID模型，每迭代完一次，利用验证集数据验证模型，选择验证结果最好的一次训练模型。

4.根据权利要求3所述的一种基于长短记忆的哺乳仔猪多目标跟踪方法，其特征在于，所述基础网络有DLA-34、ResNet101。