[发明专利]一种基于联合检测与表征提取的多目标跟踪系统和方法在审
申请号: | 202011510839.1 | 申请日: | 2020-12-18 |
公开(公告)号: | CN112734800A | 公开(公告)日: | 2021-04-30 |
发明(设计)人: | 邓国伟;陈彩莲;涂静正;关新平;杨博 | 申请(专利权)人: | 上海交通大学 |
主分类号: | G06T7/246 | 分类号: | G06T7/246;G06T7/73;G06K9/00;G06K9/32;G06K9/62;G06N3/04 |
代理公司: | 上海旭诚知识产权代理有限公司 31220 | 代理人: | 郑立 |
地址: | 200240 *** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 联合 检测 表征 提取 多目标 跟踪 系统 方法 | ||
1.一种基于联合检测与表征提取的多目标跟踪系统,其特征在于,包括联合检测与表征提取模块、轨迹预测模块和候选框筛选模块,其中所述联合检测与表征提取模块由主干网络、区域选择网络、目标边界框回归器以及表征提取器构成。
2.如权利要求1所述的基于联合检测与表征提取的多目标跟踪系统,其特征在于,所述轨迹预测模块采用线性运动模型,根据轨迹的运动信息来推测跟踪的目标在当前视频帧的可能位置,并对已有轨迹进行修正以降低误差。
3.如权利要求1所述的基于联合检测与表征提取的多目标跟踪系统,其特征在于,所述候选框筛选模块采用带有身份传递的非极大化抑制算法,能够以置信度筛选出最优的候选框,并通过身份传递同时完成检测候选框与轨迹的数据关联。
4.如权利要求1所述的基于联合检测与表征提取的多目标跟踪系统,其特征在于,所述主干网络采用可以提取图像特征的骨干网络,在骨干网络的基础上建立特征金字塔网络。
5.如权利要求1所述的基于联合检测与表征提取的多目标跟踪系统,其特征在于,所述目标边界框回归器与所述表征提取器均采用深度神经网络结构,所述目标边界框回归器使用全连接层网络。
6.一种基于联合检测与表征提取的多目标跟踪方法,其特征在于,所述方法包括以下步骤:
步骤1、令活动轨迹集为空集,失活轨迹集为空集;将视频帧序列逐帧输入到所述主干网络中,获得当前帧图像的特征表;
步骤2、根据特征表中的信息,利用所述轨迹预测模块与所述联合检测与表征提取模块中的RPN、所述边界框回归器与所述表征提取器等模块功能,生成候选框;
步骤3、采用带有身份传递的非极大抑制法从候选框中筛选出最优的候选框;
步骤4、根据筛选结果更新轨迹,包括轨迹的生成、延申与删除;
步骤5、若当前帧不为视频的最后一帧,则返回第一步,否则结束。
7.如权利要求6所述的基于联合检测与表征提取的多目标跟踪方法,其特征在于,所述步骤2还包括:
步骤2.1、检测图像中的目标;
步骤2.2、预测轨迹的可能位置;
步骤2.3、生成候选框;
步骤2.4、提取表征向量。
8.如权利要求6所述的基于联合检测与表征提取的多目标跟踪方法,其特征在于,所述步骤3采用带有身份传递的非极化抑制法,具体包括:
步骤3.1、根据所述目标边界框之间的交并比对输入的候选框进行聚类,利用候选框之间的空间关系,将属于同一目标的候选框聚为一类,并将不属于同一目标的候选框加以区分;
步骤3.2、如果聚类结果中某一簇含有带身份标签的候选框,则将该候选框的身份标签传递给该簇中的所有候选框;
步骤3.3、将每一簇中非最大置信度的候选框删除,仅保留簇内置信度最大的那个候选框。
9.如权利要求6所述的基于联合检测与表征提取的多目标跟踪方法,其特征在于,所述步骤4还包括:
步骤4.1、更新所述活动轨迹集中的轨迹;
步骤4.2、比对所述失活轨迹集与筛选结果之间的特征,进行重识别操作;
步骤4.3、更新所述失活轨迹集中重识别成功的轨迹,并将其加入到所述活动轨迹集中,重识别失败的筛选结果作为新出现的目标,为其创建轨迹并添加入所述活动轨迹集。
10.如权利要求9所述的基于联合检测与表征提取的多目标跟踪方法,其特征在于,采用的重识别方法为一种短期的、基于表征向量之间欧式距离的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海交通大学,未经上海交通大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011510839.1/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种外观检测仪
- 下一篇:一种带有防护功能的建筑施工用支撑平台