[发明专利]一种基于视觉目标检测的移动机器人跟随行人方法、系统及介质

说明书

本发明公开了一种基于视觉目标检测的移动机器人跟随行人方法、系统及介质，方法为：改进目标检测算法搭建行人检测模型，对行人目标进行检测；改进多目标跟踪算法，对行人目标进行跟踪；构建非完整移动机器人运动学模型，以及移动机器人与行人之间的角度和距离；确定角度和距离的约束条件，定义角度误差和距离误差；基于预设性能控制的方法，设计与障碍物位置有关的预设性能函数，构建误差转换函数；将转换误差函数引入李雅普诺夫函数，设计基于视觉的跟随避障控制器及速度观测器。本发明将视觉目标检测跟踪与控制理论相结合，采用李雅普诺夫法设计出基于视觉的跟随避障控制器，实现移动机器人平稳、高效、准确的跟随行人。

技术领域

本发明属于机器人控制的技术领域，具体涉及一种基于视觉目标检测的移动机器人跟随行人方法、系统及介质。

背景技术

近年来，机器人技术发展极为迅速，前沿技术层出不穷，并不断应用于实际的生产生活当中，诞生了许多智能化的服务类机器人，如在商场、家庭、餐厅等场景中进行服务的机器人，这些智能化的机器人主要目的是控制机器人平稳安全地跟随目标行人移动，移动机器人的控制器的实现往往需要获取目标行人的位置、速度信息，这就给控制器的设计带来了困难。一种可行的方法是为移动机器人和目标行人都安装通讯设备，使他们可以通过通讯来获取自己所需的信息，进而计算出机器人自身的控制信号，然而这种方法会增加系统的硬件成本。随着机器视觉的发展，利用视觉反馈来控制移动机器人系统成为控制工程领域的一个重要课题。基于视觉的移动机器人行人跟随系统融合了目标检测、跟踪与运动控制的技术，具有广阔的应用前景，其主要包括两个任务，一是目标行人的检测和跟踪，二是移动机器人的运动控制。

随着深度学习的兴起，目标检测与目标跟踪迅速发展，在移动机器人跟随行人的过程中，首先要进行行人目标检测与跟踪。现有目标检测主要可分为Two-Stage和One-Stage方法。Two-Stage方法要先得到候选框区域，然后对每个候选框进行分类，而One-Stage方法没有生成候选区域的过程，直接把问题转化成为回归问题，这一流程区别使得One-Stage方法拥有更快检测速度，而在定位精度和检测准确率上，Two-Stage方法则略胜一筹。Two-Stage的结构主要有R-CNN、Fast-RCNN、Mask R-CNN等。One-Stage的结构主要以YOLO(You Only Look Once)为代表，One-stage在速度上提升，然而准确度有所下降，在移动机器人跟随行人的过程中，目标行人多数情况下处于运动过程中，因此实时性尤为重要，然而如何在确保实时性的前提下，又确保检测的准确度满足需求是个极具挑战的问题。

另一方面，一般而言，目标跟踪技术可以分为单目标跟踪和多目标跟踪两大类。单目标跟踪算法是在视频的每帧图片里只跟踪一个目标，单目标跟踪算法主要原理是跟踪目标的自身外观，然后计算历史帧的跟踪目标和现在帧的候选区域的相似度或匹配误差，跟踪结果为相似度最大的候选区域或者是匹配误差最小的候选区域。而多目标跟踪要跟踪每个目标在视频序列中的位置，而且还要维持每个目标的识别身份不发生变化。得益于深度学习目标检测的快速发展，基于检测的跟踪性能更为优异，该方法把任务分解为数据关联和目标检测，检测由检测器完成，然后优化检测结果关联成目标的轨迹；当前常用的多目标算法有SORT、Deep SORT等。相较于单目标跟踪的算法，采用多目标跟踪的移动机器人跟随算法具有更大的应用价值，可以清楚视野范围内多个目标的情况，使机器人跟随指定编号的目标。在多目标跟踪领域，如何优化检测器的性能，以及如何将检测结果更好地与目标的轨迹相关联是一个很大的挑战。