[发明专利]一种交互式视频数据标注方法及装置

权利要求书

1.一种交互式视频数据标注方法，其特征在于，所述方法包括：

获取目标视频数据，并对所述目标视频数据初始化处理得到待标注的目标图像帧；

加载预先离线训练的目标检测模型，并基于所述目标检测模型对所述目标图像帧进行目标检测得到所述目标图像帧中当前目标的类别和包围框；其中，所述目标检测模型是以标定有目标的类别标注和包围框标注的图像帧为第一训练样本，以通用检测模型对所述第一训练样本中目标的类别和包围框的预测结果趋近于所述第一训练样本所标定的类别标注和包围框标注为训练目标，对所述通用检测模型训练得到的，并且所述目标检测模型在发生交互时被第一新训练样本在线训练，所述第一新训练样本是根据所述当前目标的包围框真值生成的；

加载预先离线训练的目标重识别模型，并基于所述目标重识别模型对所述当前目标进行特征提取得到所述当前目标的重识别特征；其中，所述目标重识别模型是以标定有目标的重识别特征标注的图像帧为第二训练样本，以通用重识别模型对所述第二训练样本中目标的重识别特征的预测结果趋近于所述第二训练样本所标定的重识别特征标注为训练目标，对所述通用重识别模型训练得到的，并且所述目标重识别模型在发生交互时被第二新训练样本在线训练，所述第二新训练样本是根据所述当前目标所匹配轨迹的标识的真值生成的；

基于所述当前目标的重识别特征对所述当前目标进行轨迹匹配，并输出所述当前目标的类别、包围框和所匹配轨迹的标识；

所述基于所述当前目标的重识别特征对所述当前目标进行轨迹匹配，包括：

加载已标注的历史轨迹的属性信息，并根据所述属性信息计算所述历史轨迹的优先级，所述属性信息中包含所述历史轨迹中已标注的历史目标的重识别特征；

按照所述历史轨迹的优先级依次确定待匹配的当前历史轨迹；

根据所述当前目标的重识别特征和所述当前历史轨迹中历史目标的重识别特征计算所述当前目标和所述当前历史轨迹的特征相似度矩阵，并利用二分图匹配优化算法处理所述特征相似度矩阵以匹配所述当前目标和所述当前历史轨迹；

所述方法还包括：

针对所述当前目标中未匹配到轨迹的目标和所述历史轨迹中未匹配到目标的轨迹，获取所述目标的包围框和所述轨迹的包围框；

根据所述目标的包围框和所述轨迹的包围框计算所述目标和所述轨迹的包围框交并比矩阵，并利用所述二分图匹配优化算法处理所述包围框交并比矩阵以匹配所述目标和所述轨迹。

2.根据权利要求1所述的方法，其特征在于，对所述目标视频数据初始化处理得到待标注的目标图像帧，包括：

从所述目标视频数据中抽取初始图像帧；

对所述初始图像帧进行下采样得到目标图像帧。

3.根据权利要求1所述的方法，其特征在于，所述目标检测模型包括第一主干模型和回归模型，所述回归模型包括区域候选网络和包围框优化网络，所述第一主干模型的输出端分别与所述区域候选网络的输入端、所述包围框优化网络的第一输入端连接，所述区域候选网络的输出端与所述包围框优化网络的第二输入端连接；

所述基于所述目标检测模型对所述目标图像帧进行目标检测得到所述目标图像帧中当前目标的类别和包围框，包括：

基于所述第一主干模型提取所述目标图像帧的第一特征图；

基于所述区域候选网络识别所述第一特征图中的候选包围框；

基于所述包围框优化网络对所述候选包围框的特征子图进行目标检测和包围框回归得到所述目标图像帧中当前目标的类别和包围框，所述候选包围框的特征子图为所述特征图中所述候选包围框所在的子区域，所述当前目标的包围框为置信度高于预设的置信度阈值的候选包围框。

4.根据权利要求1所述的方法，其特征在于，所述根据所述当前目标的包围框的真值生成所述第一新训练样本的过程，包括：

在所述当前目标的包围框的真值所在区域周边的指定区域内生成多个包围框；

将所述多个包围框中与所述当前目标的包围框的真值的交并比大于等于指定交并比阈值的包围框作为正样本，以及将所述多个包围框中与所述当前目标的包围框的真值的交并比小于所述指定交并比阈值的包围框作为负样本，所述正样本的数量和所述负样本的数量符合预设数量均衡条件。