[发明专利]机器人目标跟踪方法、装置、机器人及存储介质在审
申请号: | 202211599044.1 | 申请日: | 2022-12-14 |
公开(公告)号: | CN115861387A | 公开(公告)日: | 2023-03-28 |
发明(设计)人: | 王文;王军;张春龙;宛敏红;李特;林哲远 | 申请(专利权)人: | 之江实验室 |
主分类号: | G06T7/292 | 分类号: | G06T7/292;G06T7/246;G06T7/73;G06V10/40;G06V10/80 |
代理公司: | 杭州华进联浙知识产权代理有限公司 33250 | 代理人: | 徐潇 |
地址: | 311121 浙江*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 机器人 目标 跟踪 方法 装置 存储 介质 | ||
本申请涉及一种机器人目标跟踪方法、装置、机器人及存储介质,该方法包括:对第一图像和第二图像进行目标检测,得到至少一个第一对象和至少一个第二对象;第一图像基于第一相机采集,第二图像基于第二相机采集,第二相机的视野范围大于第一相机的视野范围,且与第一相机的视野范围存在交叠;提取各第一对象、第二对象在第一图像、第二图像中的图像特征和位置特征;基于图像特征和位置特征确定第一对象和第二对象中处于交叠视野范围内的目标对象;将目标对象所对应的图像特征融合后得到第三图像特征,基于第三图像特征跟踪目标对象,扩展了目标对象的跟踪视野,解决了相关技术中存在的机器人难以实现对被跟踪目标整体运动过程跟踪的问题。
技术领域
本申请涉及机器人视觉跟踪技术领域,特别是涉及一种机器人目标跟踪方法、装置、机器人及可读存储介质。
背景技术
智能机器人可以通过设置在本体上的相机感知周围环境,而在相机拍摄的视频图像中进行多目标跟踪是机器人理解自身所处环境的重要前置任务。例如,多目标跟踪技术能够实时地为机器人提供周边行人、车辆等障碍物信息,从而为机器人智能避障提供依据;多目标跟踪也能够帮助机器人选择服务对象,从而使得机器人能够更好地服务于人类。现有的多目标跟踪技术多是基于机器人本体视野的多目标跟踪技术,由于距离被跟踪目标近,能够获取到被跟踪目标的细节特征;然而,受机器人本体硬件的限制,通常设置在机器人本体上的相机数量少、安装高度低,视野受限,难以对目标实施整体运动过程的跟踪。因此,在保留细节特征的基础上实现被跟踪目标的整体运动过程跟踪是目前迫切需要解决的问题。
针对相关技术中存在的机器人难以实现对被跟踪目标整体运动过程跟踪的问题,目前还没有提出有效的解决方案。
发明内容
在本实施例中提供了一种机器人目标跟踪方法、装置、机器人及可读存储介质,以解决相关技术中存在的机器人难以实现对被跟踪目标整体运动过程跟踪的问题。
第一个方面,在本实施例中提供了一种机器人目标跟踪方法,所述方法包括:
对第一图像进行目标检测,得到至少一个第一对象;及
对第二图像进行目标检测,得到至少一个第二对象;所述第一图像基于第一相机采集,所述第二图像基于第二相机采集,所述第二相机的视野范围大于所述第一相机的视野范围,且与所述第一相机的视野范围存在交叠;
提取各所述第一对象在所述第一图像中的第一图像特征和第一位置特征,以及各所述第二对象在所述第二图像中的第二图像特征和第二位置特征;
基于所述第一图像特征和第一位置特征,以及所述第二图像特征和第二位置特征,确定所述第一对象和所述第二对象中处于交叠视野范围内的目标对象;
将所述目标对象所对应的所述第一图像特征和所述第二图像特征融合后得到第三图像特征,基于所述第三图像特征跟踪所述目标对象。
在其中的一些实施例中,所述基于所述第一图像特征和第一位置特征,以及所述第二图像特征和第二位置特征,确定所述第一对象和所述第二对象中处于交叠视野范围内的目标对象包括:
获取各所述第一图像特征和各所述第二图像特征之间的图像特征距离;及
获取各所述第一位置特征和各所述第二位置特征之间的位置特征距离;
基于各所述图像特征距离和各所述位置特征距离,确定所述第一对象和所述第二对象中处于交叠视野范围内的目标对象。
在其中的一些实施例中,所述基于各所述图像特征距离和各所述位置特征距离,确定所述第一对象和所述第二对象中处于交叠视野范围内的目标对象包括:
基于各所述图像特征距离,构建图像距离矩阵;及
基于各所述位置特征距离,构建位置距离矩阵;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于之江实验室,未经之江实验室许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202211599044.1/2.html,转载请声明来源钻瓜专利网。