[发明专利]目标跟踪方法、装置、设备及可读存储介质有效
申请号: | 202010741433.8 | 申请日: | 2020-07-29 |
公开(公告)号: | CN111754541B | 公开(公告)日: | 2023-09-19 |
发明(设计)人: | 彭瑾龙;王昌安;罗泽坤;李剑;王亚彪;汪铖杰;李季檩;黄飞跃 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06T7/20 | 分类号: | G06T7/20;G06T3/40;G06V10/25 |
代理公司: | 北京三高永信知识产权代理有限责任公司 11138 | 代理人: | 张所明 |
地址: | 518057 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 目标 跟踪 方法 装置 设备 可读 存储 介质 | ||
1.一种目标跟踪方法,其特征在于,所述方法包括:
获取第一图像帧,所述第一图像帧中标注有第一边界框,所述第一边界框用于指示目标对象在所述第一图像帧中对应的显示区域;
获取第二图像帧,所述第二图像帧为视频文件中在所述第一图像帧之后显示的图像帧;
在缩放范围内确定缩放倍数,所述缩放倍数是指对所述第一边界框的面积进行缩放的倍数,其中,当连续n帧图像帧中的边界框表现为缩小趋势时,从缩小范围内选取缩小倍数作为所述缩放倍数,n为正整数;
以所述缩放倍数对所述第一边界框的尺寸进行缩放得到所述目标尺寸;
对所述第二图像帧进行初步对象识别,得到所述目标对象所在的候选位置信息,并根据所述目标尺寸结合所述候选位置信息在所述第二图像帧中确定兴趣区域窗,所述兴趣区域窗中包括以所述目标尺寸在所述第二图像帧中进行框选得到的图像内容,所述候选位置信息是所述目标对象的初步识别位置坐标;
通过跟踪模型对所述兴趣区域窗中的图像内容进行指定类型对象识别,输出得到所述目标对象所在的区域和第一识别置信度,将所述目标对象所在的区域作为第二边界框对应的图像区域,并映射至所述第二图像帧中得到所述第二边界框,所述第二边界框用于指示所述目标对象在所述第二图像帧中对应的显示区域,所述跟踪模型中包括两个分支,分别是边界框坐标点回归分支和边界框置信度回归分支,其中,所述边界框坐标点回归分支回归得到所述目标对象所在的区域的指定对角线上对角坐标点的坐标,所述置信度回归分支回归得到所述目标对象所在的区域的置信度;
在所述第一识别置信度高于阈值的情况下,结束对所述第二图像帧的跟踪,并通过回归得到的所述第二边界框继续预测所述目标对象在下一帧的边界框;
在所述第一识别置信度低于所述阈值的情况下,结束跟踪过程。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
通过所述跟踪模型对所述图像内容进行对象识别,输出得到第二区域边界框,所述第二区域边界框对应有在所述兴趣区域窗内的第一边界坐标;
根据所述兴趣区域窗与所述第二图像帧的相对位置关系,将所述第一边界坐标映射到所述第二图像帧中,得到所述第二边界框,所述第二边界框对应有在所述第二图像帧中的第二边界坐标。
3.根据权利要求2所述的方法,其特征在于,所述第二图像帧标注有参考边界坐标;
所述将所述第一边界坐标映射到所述第二图像帧中,得到所述第二边界框之后,还包括:
通过所述第二边界坐标和所述参考边界坐标之间的损失值对所述跟踪模型进行训练。
4.根据权利要求1所述的方法,其特征在于,所述第二图像帧标注有第一参考置信度,所述第一参考置信度用于指示所述第二图像帧中包含所述目标对象,所述方法还包括:
根据所述第一识别置信度和所述第一参考置信度之间的损失值对所述跟踪模型进行训练。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取第三图像帧,所述第三图像帧标注有第二参考置信度,所述第二参考置信度用于指示所述第三图像帧中不包含所述目标对象;
在所述第三图像帧中随机确定图像截取框;
通过所述跟踪模型对所述图像截取框中的图像内容进行对象识别,输出得到第二识别置信度,所述第二识别置信度用于指示所述跟踪模型识别得到所述图像截取框中包括所述目标对象的概率;
根据所述第二识别置信度和所述第二参考置信度之间的损失值对所述跟踪模型进行训练。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
响应于缩放处理后,所述兴趣区域窗中存在超出所述第二图像帧图像边界的超出区域,对所述超出区域进行补黑填充处理。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010741433.8/1.html,转载请声明来源钻瓜专利网。