[发明专利]机器人目标跟踪方法、装置、机器人及存储介质在审
申请号: | 202211599044.1 | 申请日: | 2022-12-14 |
公开(公告)号: | CN115861387A | 公开(公告)日: | 2023-03-28 |
发明(设计)人: | 王文;王军;张春龙;宛敏红;李特;林哲远 | 申请(专利权)人: | 之江实验室 |
主分类号: | G06T7/292 | 分类号: | G06T7/292;G06T7/246;G06T7/73;G06V10/40;G06V10/80 |
代理公司: | 杭州华进联浙知识产权代理有限公司 33250 | 代理人: | 徐潇 |
地址: | 311121 浙江*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 机器人 目标 跟踪 方法 装置 存储 介质 | ||
1.一种机器人目标跟踪方法,其特征在于,所述方法包括:
对第一图像进行目标检测,得到至少一个第一对象;及
对第二图像进行目标检测,得到至少一个第二对象;所述第一图像基于第一相机采集,所述第二图像基于第二相机采集,所述第二相机的视野范围大于所述第一相机的视野范围,且与所述第一相机的视野范围存在交叠;
提取各所述第一对象在所述第一图像中的第一图像特征和第一位置特征,以及各所述第二对象在所述第二图像中的第二图像特征和第二位置特征;
基于所述第一图像特征和第一位置特征,以及所述第二图像特征和第二位置特征,确定所述第一对象和所述第二对象中处于交叠视野范围内的目标对象;
将所述目标对象所对应的所述第一图像特征和所述第二图像特征融合后得到第三图像特征,基于所述第三图像特征跟踪所述目标对象。
2.根据权利要求1所述的方法,其特征在于,所述基于所述第一图像特征和第一位置特征,以及所述第二图像特征和第二位置特征,确定所述第一对象和所述第二对象中处于交叠视野范围内的目标对象包括:
获取各所述第一图像特征和各所述第二图像特征之间的图像特征距离;及
获取各所述第一位置特征和各所述第二位置特征之间的位置特征距离;
基于各所述图像特征距离和各所述位置特征距离,确定所述第一对象和所述第二对象中处于交叠视野范围内的目标对象。
3.根据权利要求2所述的方法,其特征在于,所述基于各所述图像特征距离和各所述位置特征距离,确定所述第一对象和所述第二对象中处于交叠视野范围内的目标对象包括:
基于各所述图像特征距离,构建图像距离矩阵;及
基于各所述位置特征距离,构建位置距离矩阵;
将所述图像距离矩阵和所述位置距离矩阵组合得到距离信息矩阵;
以所述距离信息矩阵的值为目标对象确定参数,确定所述第一对象和所述第二对象中处于交叠视野范围内的目标对象。
4.根据权利要求1所述的方法,其特征在于,所述第一位置特征为对应的第一对象在世界坐标系下的三维坐标;所述第一位置特征基于当前时刻机器人坐标系与所述世界坐标系间的转换关系、第一相机坐标系与所述机器人坐标系间的转换关系以及对应的第一对象在第一相机坐标系下的齐次三维坐标所确定。
5.根据权利要求1所述的方法,其特征在于,所述第二位置特征为对应的第二对象在世界坐标系下的三维坐标;所述第二位置特征基于所述第二相机与所述世界坐标系间的转换关系以及对应的第二对象在第二相机坐标系下的齐次三维坐标所确定。
6.根据权利要求1所述的方法,其特征在于,所述将所述目标对象所对应的所述第一图像特征和所述第二图像特征融合后得到第三图像特征,基于所述第三图像特征跟踪所述目标对象包括:
将所述目标对象所对应的所述第一图像特征和所述第二图像特征串联,得到所述第三图像特征。
7.根据权利要求6所述的方法,其特征在于,所述将所述目标对象所对应的所述第一图像特征和所述第二图像特征串联,得到所述第三图像特征包括:
F=n([Fi;Fj])
其中,F为所述第三图像特征;n()为归一化函数,Fi为第i个第一对象对应的第一图像特征,Fj为第j个第二对象对应的第二图像特征。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于之江实验室,未经之江实验室许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202211599044.1/1.html,转载请声明来源钻瓜专利网。