[发明专利]一种基于SAC-PID的移动机器人目标跟随方法

说明书

本发明涉及一种基于SAC‑PID的移动机器人目标跟随方法，获取机器人感知数据并预处理，使用目标检测网络获取跟随对象候选区域，跟随对象目标匹配后，采集强化学习的状态信息，以已训练好的SAC强化学习模型，输出移动机器人运动控制的目标角速度和目标线速度，实现移动机器人端到端的目标跟随决策输出，利用PID控制器对移动机器人进行平滑控制。本发明的有益效果在于，建立跟踪目标的模型，有效区分背景和跟随目标，遮挡情况下跟随方法可以继续应用，实现简单，收敛速度快，目标跟随的准确性高，能够应对复杂的应用场景，具备较强的鲁棒性，实现跟踪过程的平滑控制。

技术领域

本发明涉及计算；推算；计数的技术领域，特别涉及一种智能机器人领域的、结合SAC与PID控制的基于SAC-PID的移动机器人目标跟随方法。

背景技术

随着移动机器人、人工智能等技术的快速发展，智能机器人正逐渐成为我们工作和生活的一部分。智能机器人与传统工业机器人相比，其对外界的感知能力更强，对定位系统、障碍检测和地图信息的要求更低，能够在复杂的环境中完成灵活精细的作业。人机融合也是智能机器人发展的重要趋势，在物流行业中，跟随型智能机器人相较于传统的人力搬运，具有搬运效率更高、搬运能力更强、人机协同能力更友好等优点。跟随任务要求机器人在确定跟随对象后，与跟随对象保持安全距离的情况下，无碰撞地完成跟随运动任务，对避障能力、目标检测能力都有一定的要求。

现有机器人跟随技术主要可以分为基于模板匹配的跟随方法、基于估计器的跟随方法和基于分类器的跟随方法。基于模板匹配的跟随方法通过选取第一帧跟随区域的目标信息作为匹配模板，在后续帧中，选择与模板的匹配结果误差最小的区域作为匹配结果实现目标跟随，具有实现简单、收敛速度快的优点，已在物体跟踪领域得到了广泛的运用。基于估计器的跟随方法是一种通过建立目标跟随模型来预测目标对象在下一帧中的位置，并更新目标当前状态的方法，通过不同场景设计不同类型的估计器，以此来提高目标跟随的准确性。基于分类器的目标跟随方法是通过线上学习的方式，并给定的类别和已知的训练数据，在线学习分类规则，然后对未知数据进行分类，能够应对复杂的应用场景，具备较强的鲁棒性。虽然这些方法具有各种优点，但仍然面临着许多难点，例如如何建立跟踪目标的模型、如何区分背景和跟随目标、如何解决遮挡情况下跟随方法失效、如何实现跟踪过程的平滑控制等问题。

申请号为201810980715.6的专利公开了一种基于单目视觉传感器的移动机器人目标对象跟随方法，该方法根据目标对象的目标区域得到跟随对象的图像特征矩阵，再利用跟踪算法和特征矩阵确定目标对象的中心点来实现目标跟随，但该方法不能较好地解决跟随过程中目标丢失的问题。申请号202010993247.3的专利公开了一种基于视觉的机器人跟随方法及跟随机器人，该方法通过将图像信息输入检测神经网络进行检测获取行人检测结果，再根据目标结果对机器人进行跟随控制，但该方法仅使用了单一传感器获取环境信息，容易受到环境因素的干扰，鲁棒性还有待提高。

发明内容

本发明解决了现有技术中存在的问题，提供了一种优化的基于SAC-PID的移动机器人目标跟随方法，采用深度学习目标检测网络检测候选跟随目标，使用深度强化学习算法SAC实现机器人的目标跟随决策，并通过PID实现平滑动作输出。

本发明所采用的技术方案是，一种基于SAC-PID的移动机器人目标跟随方法，所述方法包括以下步骤：

步骤1：以已标定的RGBD相机和激光雷达获取移动机器人目标跟随过程中的一帧实时RGBD数据I_RGBD和N个点的雷达数据R_N，将I_RGBD拆分为RGB图像I_RGB和深度图像I_D，为后续目标检测和跟随对象目标匹配做准备，将R_N进行k倍下采样处理，得到雷达数据R_N/k，减少R_N/k在后续步骤中强化学习状态空间的占例；