[发明专利]一种基于视觉的四足机器人行人自主跟随方法

说明书

一种基于视觉的四足机器人行人自主跟随方法，目标行人站于距离机器人正前方，双目立体相机获取输入图像，降低其分辨率后输入已训练好的行人检测网络，识别定位出相机视野内的所有行人，并记录所有候选框信息；选取距离图像中心区域最近的框作为跟踪目标，将目标信息发送给尺度特征自适应建模完的视觉跟踪器；当有行人干扰时，重新定位目标并初始化视觉跟踪器；将基于视觉传感器获得目标行人的水平偏转角和距离信息发送给四足机器人分别控制机器人的行进速度和行驶角度。本发明可实现四足机器人在野外环境下对目标行人的自主随行，既解除了遥控器给控制人员带来的操作负担，又帮助人类以更方便的方式完成了物资搬运等复杂任务。

技术领域

本发明涉及一种基于视觉的四足机器人行人自主跟随方法，属于四足机器人环境感知技术领域，特别涉及了计算机视觉技术领域。

背景技术

相较于轮式和履带式机器人，腿足式机器人在运动过程中依靠离散的落脚点几乎可以到达地面上的任何位置，能跨越更为复杂崎岖的地形，具有更加优异的运动灵活性、环境适应性及负载能力，更适用于室外的非结构化环境，因而得到了越来越多研究人员的重视。四足机器人既有超于双足机器人的平稳性及负载能力又避免了六足机器人复杂的机体结构，既能以静态步行方式缓慢行走又能以动态步行方式奔跑甚至跳跃。因而在腿足式机器人研究领域，四足机器人是一种最佳的选择方式，在复杂地形环境下的军事-民用物质运输、野外勘探与探险、抢险救灾等领域都具有广阔的发展前景。

为了适应复杂多样的野外环境，需要提高四足机器人的运动自主能力及对复杂环境的感知能力，而环境感知、定位及导航技术是实现四足机器人自主运动的必不可少的关键技术。野外环境属于非结构化环境，地形-地貌-地面复杂多样，障碍物多，这给高维的环境建模带来严峻的挑战，即便有最先进的导航设备，机器人也容易跟丢目标，所以通常采用领航员前方引导、机器人跟随的策略来提高跟踪的实时准确性。

在四足机器人领域，四足机器人最早实现采用近红外相机+激光扫描仪+反射标贴的策略进行领航员检测与自主跟随，在没有领航员控制的情况下，机器人完成了自主路面感知和路径规划。有的研究机构以SCalf四足机器人为平台，搭建了激光雷达+单目相机+TOF相机的环境感知系统，做了四足机器人环境感知、地形识别、路径规划及领航员跟随研究；还有的研究机构通过双目视觉定位和单目视觉定位融合方法，实现了一种识别性高、检测容易的标志的四足机器人野外随行研究。

四足机器人主要依靠外置的传感器来获取目标行人的信息，常用的传感器有激光测距传感器，视觉传感器，红外传感器，惯性测量单元等。目前的研究多依靠于反射标贴、二维码、高识别标志物等穿戴在行人身上的外部物件，容易受周围环境的影响，不能做到对行人的可视化检测与跟踪。

发明内容

本发明针对现有的四足机器人行人自主跟随方法存在的不足，提出一种能够做到对行人的可视化检测与跟踪的基于视觉的四足机器人行人自主跟随方法。该方法融合了深度学习行人检测算法、核相关滤波目标跟踪算法与行人重识别算法的基于立体视觉的行人检测跟踪方法，最终实现野外环境下的四足机器人行人自主跟随。

本发明的基于视觉的四足机器人行人自主跟随方法，具体步骤如下：

(1)通过双目立体相机获取输入图像，降低图片分辨率，将其作为行人检测网络的输入数据；

(2)基于Caffe深度学习框架训练一个不需要大量数据和预训练模型的行人检测模型，识别定位出立体相机视野内的所有行人，并记录每个行人候选框信息；

(3)选取距离图像中心区域最近的框作为跟踪目标，将目标信息发送给视觉跟踪器，并对跟踪目标进行尺度特征自适应建模；

(4)存在其他行人干扰时，在行人检测和视觉跟踪运行后，启动行人重实别模块，对视觉跟踪的结果进行再辨识，重新定位目标，并以此结果作为初始值重新初始化视觉跟踪器；