[发明专利]一种交互式视频数据标注方法及装置

说明书

本发明提供了一种交互式视频数据标注方法及装置，通过对目标视频数据初始化处理得到待标注的目标图像帧，进一步通过预先离线训练的目标检测模型对目标图像帧进行目标检测得到目标图像帧中当前目标的类别和包围框，更进一步通过预先离线训练的目标重识别模型对当前目标进行特征提取得到当前目标的重识别特征，最后通过当前目标的重识别特征对当前目标进行轨迹匹配从而输出当前目标的类别、包围框和所匹配轨迹的标识，且通过交互学习可以在线优化目标检测模型和目标重识别模型以适应当前标注视频场景。基于本发明，通过重识别特征做轨迹匹配大幅降低跟踪过程中目标标识频繁跳变的概率，实现低成本、高效率、大规模的视频多目标跟踪训练数据的标注。

技术领域

本发明涉及图像处理技术领域，更具体地说，涉及一种交互式视频数据标注方法及装置。

背景技术

视频数据的数量目前呈现出爆发式增长，对视频数据中多个目标进行跟踪和大规模标注，需要耗费大量的人力和时间。如何进行高效大规模的视频数据标注，降低生产成本，是一个亟待解决的难题。

现有基于多目标跟踪的标注技术，通过对视频数据提取特征并进行检测识别，完成对目标的标识和包围框信息的标注，成为大规模视频数据标注的主要解决方案。但在实际应用中经常出现目标轨迹标识频繁跳变等问题，仍然不能很好满足实际生产需求。

发明内容

有鉴于此，为解决上述问题，本发明提供一种交互式视频数据标注方法及装置。技术方案如下：

一种交互式视频数据标注方法，所述方法包括：

获取目标视频数据，并对所述目标视频数据初始化处理得到待标注的目标图像帧；

加载预先离线训练的目标检测模型，并基于所述目标检测模型对所述目标图像帧进行目标检测得到所述目标图像帧中当前目标的类别和包围框；其中，所述目标检测模型是以标定有目标的类别标注和包围框标注的图像帧为第一训练样本，以通用检测模型对所述第一训练样本中目标的类别和包围框的预测结果趋近于所述第一训练样本所标定的类别标注和包围框标注为训练目标，对所述通用检测模型训练得到的，并且所述目标检测模型在发生交互时被第一新训练样本在线训练，所述第一新训练样本是根据所述当前目标的包围框真值生成的；

加载预先离线训练的目标重识别模型，并基于所述目标重识别模型对所述当前目标进行特征提取得到所述当前目标的重识别特征；其中，所述目标重识别模型是以标定有目标的重识别特征标注的图像帧为第二训练样本，以通用重识别模型对所述第二训练样本中目标的重识别特征的预测结果趋近于所述第二训练样本所标定的重识别特征标注为训练目标，对所述通用重识别模型训练得到的，并且所述目标重识别模型在发生交互时被第二新训练样本在线训练，所述第二新训练样本是根据所述当前目标所匹配轨迹的标识的真值生成的；

基于所述当前目标的重识别特征对所述当前目标进行轨迹匹配，并输出所述当前目标的类别、包围框和所匹配轨迹的标识。

优选的，对所述目标视频数据初始化处理得到待标注的目标图像帧，包括：

从所述目标视频数据中抽取初始图像帧；

对所述初始图像帧进行下采样得到目标图像帧。

优选的，所述目标检测模型包括第一主干模型和回归模型，所述回归模型包括区域候选网络和包围框优化网络，所述第一主干模型的输出端分别与所述区域候选网络的输入端、所述包围框优化网络的第一输入端连接，所述区域候选网络的输出端与所述包围框优化网络的第二输入端连接；

所述基于所述目标检测模型对所述目标图像帧进行目标检测得到所述目标图像帧中当前目标的类别和包围框，包括：

基于所述第一主干模型提取所述目标图像帧的第一特征图；

基于所述区域候选网络识别所述第一特征图中的候选包围框；