[发明专利]一种基于多算法融合的多目标实时检测、识别及跟踪方法

权利要求书

1.一种基于多算法融合的多目标实时检测、识别及跟踪方法，其特征在于，包括以下步骤：

步骤1，通过改进的CenterNet算法完成多目标实时检测；

具体为：结合知识蒸馏的方法对CenterNet算法进行改进，选用Hourglass网络作为Centernet算法的多目标检测特征提取网络，在Hourglass网络中进行预训练，作为teachernet，收集预训练的特征数据得到训练数据集；将每两个初始的Hourglass网络改为一个，作为student net，调整student net网络参数，将Hourglass网络预训练的特征数据输入，同时输入训练数据集以及训练数据集对应的标签，用来提取先验知识，即让studentnet的模型学习teachernet的模型的泛化能力；将视频帧输入studentnet提取特征数据即可完成多目标实时检测；

步骤2，对步骤1检测到的感兴趣区域进行多目标识别；

在Centernet算法中加入基于SENet的残差块，由SENet残差块首先对步骤1得到的特征图进行Squeeze操作，得到全局特征，然后对全局特征进行Excitation操作，学习各个通道间的关系，也得到不同通道的权重，最后通过Reweight操作乘以原来的特征图得到最终特征，完成目标识别；

步骤3，在步骤1和步骤2的基础上，进行多目标跟踪；

把Deepsort算法和Centernet算法进行了融合，对Deepsort算法引入基于LSTM模型的目标交互匹配对进行改进，将多目标实时检测后的帧视频数据调用改进后的Deepsort算法，使用运动特征匹配、表观特征匹配和目标交互特征匹配来确定跟踪目标下一帧的位置，实现多目标的跟踪。

2.根据权利要求1所述的一种基于多算法融合的多目标实时检测、识别及跟踪方法，其特征在于：所述步骤2中Squeeze操作就是采用全局平均池化操作对得到的每个特征图进行压缩，使其C个特征图最后变成1*1*C的实数数列，公式如下：

其中，F_sq代表进行squeeze操作，u_c代表c个featuremap的集合，H和W分别代表高度和宽度。

3.根据权利要求1所述的一种基于多算法融合的多目标实时检测、识别及跟踪方法，其特征在于：所述步骤2中Excitation操作的目的是完全捕获通道相关性，具体为：先用W₁乘以squeeze操作得到的结果z，就是一个全连接层操作，W₁的维度是C/n×C，这里n是一个缩放参数，因为z的维度是1×1×C，所以W₁z的结果就是1×1×C/n；然后再经过一个ReLU层，输出的维度不变；然后再经过一个全连接层的过程，和W₂相乘，W₂的维度是C×C/n，因此输出的维度就是1×1×C；最后再经过sigmoid函数，得到s，公式如下：

s＝F_ex(z，W)＝σ(g(z，W))＝σ(W₂δ(W₁z))

其中F_ex代表excitation操作，δ代表ReLU函数，W₁∈R^C/n×C，W₂∈R^C×C/n。

4.根据权利要求1所述的一种基于多算法融合的多目标实时检测、识别及跟踪方法，其特征在于：所述步骤2中Reweight操作是将Excitation的输出的权重通过乘法逐通道加权到先前的特征上，完成在通道维度上的对原始特征的重标定。