[发明专利]基于双模型交互式半监督学习的离线行人跟踪方法、系统及存储介质

说明书

本发明公开了一种基于双模型交互式半监督学习的离线行人跟踪方法、系统及存储介质，所述方法包括：选用两个基于神经网络的行人跟踪模型，使用有标签训练数据对其进行有监督训练；伪标签预测并进行离线插值优化；采用交互式半监督方法进行学习；最终预测和输出。本发明采用离线插值优化方法，利用了完整的视频信息，对行人轨迹断开的部分进行了插值修正，使得行人轨迹断开情况较少，受行人遮挡的影响较少。本发明还提出了一种利用双模型针对测试数据进行半监督自学习的方法，使得模型能逐步熟悉测试数据，在多轮迭代之后性能获得较大提升，面对模型未见过的场景，也能保持良好的表现。

技术领域

本发明属于计算机视觉领域技术领域，具体涉及一种基于双模型交互式半监督学习的离线行人跟踪方法、系统及存储介质。

背景技术

行人跟踪技术是以人为中心的视频分析技术的核心部分，是很多重要的下游应用的技术前提，如行人搜索、行为识别、事件分析等。一般来说，行人跟踪主要包含两个部分，第一个是对单帧图像进行行人检测，即对画面中的所有行人进行定位，输出每个行人的边界框；第二个部分是对同一个行人在连续相邻帧中的所有边界框进行数据关联，也就是使用行人重识别技术(Person Re-ID，person re-identification)，形成属于该特定行人的轨迹。

基于这两个部分的不同实现方法，现时的行人跟踪技术主要分为两派，一种是“两步走”方法，即先对画面进行行人检测，再提取行人局部图像特征进行Re-ID，另一种则是“一次性”方法，即使用多任务学习结构，使网络同时完成图像行人检测与Re-ID特征提取任务以获得更快的推理速度。

目前现存的行人跟踪技术检测的行人轨迹经常断开，经常出现中间数帧没有被检测出来的情况，这是因为真实场景中环境十分复杂，行人遮挡现象严重，行人往往只有半身、头部或腿部可见，加上行人检测技术本身对于光照、姿态变化的敏感性，而且目前现存的行人跟踪技术大多数没有针对真实复杂的场景中行人遮挡的现象进行优化，十分依赖行人检测部分提供的边界框结果，几乎均为在线型跟踪技术，即仅利用当前帧或过去帧的信息对行人进行检测与跟踪，输出当前帧结果，并没有利用后续视频信息对结果进行修正。

同时，几乎所有的行人跟踪技术，都是使用基础的迁移学习方法，先使用大量的数据集对模型进行预训练，然后对部分已标记的测试数据或真实工业数据进行简单的迁移学习，再对未标记的真实数据进行实际的业务预测，但是行人跟踪模型训练使用的数据与模型未见过的真实场景的业务数据之间往往存在着较大差异(如光照、背景、角度、行人特点等)，若使用简单的迁移学习，往往会导致性能表现不佳。几乎现存的所有行人跟踪技术都没有考虑到上述的“数据集适应”的问题，出现“在训练集上表现良好，但在测试集上表现较差”的情况。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供基于双模型交互式半监督学习的离线行人跟踪方法、系统及存储介质。

为了达到上述目的，本发明采用以下技术方案：

本发明提供了一种基于双模型交互式半监督学习的离线行人跟踪方法，包括下述步骤：

S1、选用两个基于神经网络的行人跟踪模型，使用有标签训练数据对其进行有监督训练，直至模型能基本拟合训练数据，得到在训练数据集上预测表现良好初始模型权重F_T1和F_T2；

S2、令迭代模型F_S1＝F_T1，F_S2＝F_T2；

S3、使用所述迭代模型F_S1和F_S2对无标签测试数据直接进行预测，同时使用离线插值优化方法对结果进行优化，得到所述迭代模型F_S1和F_S2的输出结果，即伪标签1和伪标签2；所述离线插值优化方法用于拼接断开的行人轨迹并使中间帧丢失的行人轨迹边界框得到恢复；