[发明专利]一种基于孪生网络和反向传播的车辆实时跟踪方法

权利要求书

1.一种基于孪生网络和反向传播的车辆实时跟踪方法，其特征在于：包括以下步骤：

步骤1：根据输入视频的第一帧图像，初始化激活轨迹集合，保留轨迹集合和结束轨迹集合；

步骤2：把第一帧由检测器得到的检测结果作为激活轨迹里各目标的初始位置；

步骤3：针对下一帧图像，利用激活轨迹里的目标图像和当前帧的图像作为单目标跟踪器SOT的输入，得到预测的目标位置；

步骤4：求取预测目标包围框与检测结果里的候选框之间的重叠面积IOU；

步骤5：选取具有最大IOU的检测结果，如果其与预测结果的IOU大于阈值，则把检测结果当作前向位置预测输出，否则把由SOT预测得到的结果当作前向位置预测的输出；

步骤6：如果前向位置预测结果与前一帧的IOU小于阈值，则将该目标轨迹放入保留轨迹集合，然后开始新一轮的目标跟踪；

步骤7：对于满足条件的前向位置预测结果，将前向预测得到的下一帧预测位置和前一帧图像当作SOT输入，反向预测在目标前一帧中的位置；

步骤8：如果反向预测验证结果与前一帧中该目标位置满足阈值条件，则认为由前向位置预测得到的结果是准确的，否则把由SOT前向预测的结果当作经过反向预测验证的结果；

步骤9：如果反向预测验证结果与前一帧该目标的IOU满足阈值，通过前向预测的置信度和检测结果的置信度，对得到的结果进行加权融合，将融合后的轨迹加入到激活轨迹集合中；

步骤10：如果反向预测验证结果与前一帧该目标的IOU不满足阈值，加入保留的轨迹集合中；

步骤11：针对保留轨迹集中的轨迹，如果超过一定帧数都还没有匹配的目标，则认为跟踪结束，即将其轨迹加入结束轨迹集合；

步骤12：对于保留轨迹集合中剩下的轨迹，重复前面步骤中的前向位置预测，反向预测验证和加权融合；满足条件则加入激活轨迹集合中，不满足则加入保留轨迹集合中；

步骤13：若还有下一帧，则返回步骤3，反之跟踪结束。

2.根据权利要求1所述的基于孪生网络和反向传播的车辆实时跟踪方法，其特征在于：步骤3所述针对下一帧图像，利用激活轨迹里的目标图像和当前帧的图像作为单目标跟踪器SOT的输入，得到预测的目标位置，包括以下内容：

将所要跟踪的车辆目标和当前帧的图像当作输入，经过孪生神经网络提取各自特征，然后再经过卷积融合，响应最大值点即为预测的车辆目标下一帧的位置，经过线性回归方法得到车辆目标的候选包围框，然后将预测结果与检测器检测结果结合。

3.根据权利要求1所述的基于孪生网络和反向传播的车辆实时跟踪方法，其特征在于：在步骤7中包括以下内容：

通过把前向预测得到的下一帧预测位置和前一帧图像作为输入，利用SOT预测目标在前一帧的位置，如果彼此包围框间的重合度高于阈值，则认为是同一目标，反之则不是。

4.根据权利要求1所述的基于孪生网络和反向传播的车辆实时跟踪方法，其特征在于：在步骤9中，经过前向位置预测和反向预测验证，得到了一系列候选包围框，将这些候选框与检测器检测结果融合，得到目标在下一帧的最终位置；融合过程基于预测置信度和检测置信度得分，采用加权平均的方法融合。

5.根据权利要求1所述的基于孪生网络和反向传播的车辆实时跟踪方法，其特征在于：对于在第n帧的第i个轨迹利用SOT进行前向位置预测，得到在下一帧的预测位置即前向位置预测将在第n+1帧中生成新的候选包围框：

其中，F_n+1表示第n+1帧图像，然后在第n+1帧中的目标i的候选轨迹表示为：

其中是用于前向位置预测的二值权重函数，表示为：

其中τ_f是检测器检测结果的可靠性度量；

对于第n+1帧中的目标i的候选轨迹其在前一帧中的反向预测为：

然后，经过反向预测验证的修正结果表示为：

其中与式(3)中的相似，表示为：

其中τ_b是表示前向位置预测可靠性的参数；

步骤3：对于第n+1帧中的每个目标i，其最终轨迹计算如下：

其中，γ是基于前向位置预测置信度和检测置信度的加权合并系数：

在车辆目标被遮挡情况下，轨迹在长度为τ_k帧的时间段内被保留，通过插值来补全缺失的轨迹片段。