[发明专利]基于多模式深度特征融合的RGB-D目标跟踪方法有效
| 申请号： | 201811054223.0 | 申请日： | 2018-09-11 |
| 公开（公告）号： | CN109389621B | 公开（公告）日： | 2021-04-06 |
| 发明（设计）人： | 姜明新;荣康 | 申请（专利权）人： | 淮阴工学院 |
| 主分类号： | G06T7/246 | 分类号： | G06T7/246 |
| 代理公司： | 南京苏高专利商标事务所(普通合伙) 32204 | 代理人： | 柏尚春 |
| 地址： | 223003 江苏省*** | 国省代码： | 江苏;32 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于多模式深度特征融合的RGB‑D目标跟踪方法，它将Depth图像编码为深度、高度和角度三个通道，利用基于Depth模式的CNN网络提取其多层深度特征；利用基于RGB模式的CNN网络提取RGB图像的多层深度特征；将基于Depth模式的和基于RGB模式的CNN网络的底层输出特征输入到RGB和Depth相关计算的CNN提取相关特征；计算RGB图像序列光流图，将光流图输入到基于运动模式的CNN网络中提取深度特征。将上述各种模式下的深度特征输入到深度特征融合模块中，将模块的输出送入C‑COT跟踪器中，完成目标跟踪。本方法与现有技术相比，既提取了RGB、Depth模式的各自的特征，又提取了两种模式的相关特征，还提取了视频中帧与帧之间的动态特征，有效提高了视频目标跟踪的准确性和鲁棒性。 | ||
| 搜索关键词： | 基于 模式 深度 特征 融合 rgb 目标 跟踪 方法 | ||
【主权项】：
1.一种基于多模式深度特征融合的RGB‑D目标跟踪方法，其特征在于，包括以下步骤：(1)将Depth图像编码为三个通道：物体的深度、高度和角度，获取目标的几何信息，然后在VGG‑16网络的基础上，利用基于Depth模式的CNN网络提取其特征进行融合，融合后提取的输出特征进入深度特征融合模块；(2)在VGG‑16网络的基础上，利用基于RGB模式的CNN网络提取RGB图像的卷积特征进行融合，融合后提取的输出特征进入深度特征融合模块；(3)将步骤(1)中基于Depth模式的CNN网络的输出特征和步骤(2)中基于RGB模式的CNN网络的输出特征，输入到RGB和Depth相关计算的CNN中，融合后提取的输出特征进入深度特征融合模块；(4)通过RGB图像序列计算其光流图，将光流图输入到基于运动模式的CNN网络中，融合后提取的输出特征进入深度特征融合模块；(5)将深度特征融合模块的输出，送入C‑COT跟踪器中，完成目标跟踪。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于淮阴工学院，未经淮阴工学院许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201811054223.0/，转载请声明来源钻瓜专利网。
