[发明专利]目标跟踪方法、装置及电子设备有效
申请号: | 201910082670.5 | 申请日: | 2019-01-28 |
公开(公告)号: | CN109816694B | 公开(公告)日: | 2021-05-04 |
发明(设计)人: | 韦昭 | 申请(专利权)人: | 北京旷视科技有限公司 |
主分类号: | G06T7/246 | 分类号: | G06T7/246;G06T7/80 |
代理公司: | 北京超凡志成知识产权代理事务所(普通合伙) 11371 | 代理人: | 王艳芬 |
地址: | 100000 北京*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 目标 跟踪 方法 装置 电子设备 | ||
1.一种目标跟踪方法,其特征在于,包括:
获取包含待跟踪的目标对象的参考图像;
对所述参考图像进行特征提取,得到所述目标对象的特征模板;
根据所述特征模板,确定当前视频图像帧的特征响应图;所述当前视频图像帧为待处理视频中包含所述目标对象的图像帧;所述特征响应图中包括多个特征响应值;
在所述特征响应图中选择最大的特征响应值;
将所述特征响应图映射至与所述当前视频图像帧相同的尺寸,确定所述最大的特征响应值在所述当前视频图像帧中对应的目标区域的位置;
根据所述目标区域的位置,确定所述目标对象的图像坐标;其中,如果所述目标对象为预先设定的靶标图形,根据所述目标区域的位置,通过基于所述靶标图形预先训练的靶标点检测网络,检测所述目标对象中的靶标点,并将检测到的靶标点在所述当前视频图像帧中的坐标确定为所述目标对象的图像坐标;
根据所述目标对象的图像坐标和采集所述待处理视频的图像采集设备的标定参数,确定所述目标对象的世界坐标。
2.根据权利要求1所述的方法,其特征在于,获取包含待跟踪的目标对象的参考图像的步骤,包括:
将所述待处理视频中的图像帧展示给用户;
接收用户在所述待处理视频中的图像帧中选定的跟踪框;所述跟踪框中包含待跟踪的目标对象;
将所述跟踪框内的图像作为所述目标对象的参考图像。
3.根据权利要求1所述的方法,其特征在于,对所述参考图像进行特征提取,得到所述目标对象的特征模板的步骤,包括:
将所述参考图像输入特征提取模型中,得到所述目标对象的参考特征;所述目标对象的参考特征至少包括以下之一或组合:方向梯度直方图特征、颜色特征、深度特征;
根据所述目标对象的参考特征,生成所述目标对象的特征模板。
4.根据权利要求3所述的方法,其特征在于,所述特征提取模型包括并行的方向梯度直方图提取子模型、颜色特征提取子模型和/或深度特征提取子模型;将所述参考图像输入特征提取模型中,得到所述目标对象的参考特征的步骤,包括以下子步骤之一或组合:
通过所述方向梯度直方图提取子模型,从所述参考图像中提取所述目标对象的方向梯度直方图特征;
通过所述颜色特征提取子模型,从所述参考图像中提取所述目标对象的颜色特征;
通过所述深度特征提取子模型,从所述参考图像中提取所述目标对象的深度特征。
5.根据权利要求3所述的方法,其特征在于,如果所述目标对象的参考特征包括以下任意两种或三种的组合:方向梯度直方图特征、颜色特征、深度特征;根据所述目标对象的参考特征,生成所述目标对象的特征模板的步骤,包括:
将所述目标对象的每个参考特征进行加权融合,得到所述目标对象的特征模板。
6.根据权利要求1所述的方法,其特征在于,根据所述特征模板,确定所述当前视频图像帧的特征响应图的步骤,包括:
分别将所述特征模板和所述当前视频图像帧映射至频域,得到频域特征模板和频域图像;
将所述频域特征模板和所述频域图像进行点积,得到所述当前视频图像帧的特征响应图。
7.根据权利要求1所述的方法,其特征在于,根据所述特征模板,确定所述当前视频图像帧的特征响应图的步骤,包括:
将所述特征模板和所述当前视频图像帧进行循环卷积,得到所述当前视频图像帧的特征响应图。
8.根据权利要求1所述的方法,其特征在于,根据所述目标对象的图像坐标和采集所述待处理视频的图像采集设备的标定参数,确定所述目标对象的世界坐标的步骤,包括:
建立所述图像采集设备的相机坐标系、世界坐标系以及图像坐标系;
将所述目标对象在所述图像坐标系中的图像坐标转变为所述目标对象在所述相机坐标系中的相机坐标;
获取所述图像采集设备的内参和外参;
根据所述内参和外参,将所述目标对象在所述相机坐标系中的相机坐标转变为所述目标对象在所述世界坐标系中的世界坐标。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京旷视科技有限公司,未经北京旷视科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910082670.5/1.html,转载请声明来源钻瓜专利网。