[发明专利]一种密集行人环境下强化学习移动机器人的导航方法及装置

说明书

本发明公开了一种基于空间‑时间图注意力神经网络的密集行人环境下强化学习移动机器人的导航方法，首先使用了三维多物体跟踪JRMOT技术进行2D和3D的行人轨迹追踪技术，对行人的位置进行实时追踪，在让机器人使用空间‑时间图注意力STGAT模型，根据行人历史轨迹预测未来轨迹，当机器人在行人环境中有了各个行人的轨迹后，再使用蒙特卡洛树搜索和价值估计网络，做出最优决策，进行导航任务。本发明能够在密集行人环境下快速做出避障决策，拓展了移动机器人的应用场景。

技术领域

本发明属于移动机器人导航领域，涉及一种密集行人环境下强化学习移动机器人的导航方法及装置，尤其涉及一种基于空间-时间图注意力神经网络的密集行人环境下强化学习移动机器人的导航方法及装置。

背景技术

近些年，移动机器人越来越多的应用于各个领域，作为机器人的核心功能，移动机器人的导航是人们重点研究的方向。面对机器人在复杂的动态环境中，如何快速有效的导航并且能与环境无碰撞是一个急需解决的问题。当前移动机器人可以在静态环境中高效的解决导航避障问题，然而面对现实的人类生活环境，需要机器人在执行导航任务时，根据瞬息变化的环境，做出有效的决策，传统的导航算法并不能解决此问题，随着人工智能技术的飞速发展，将其应用到机器人导航的过程中，已经是不约而同的做法，对移动机器人导航发展具有重大意义。

发明内容

本发明为了解决现有技术中的问题，提出了一种密集行人环境下强化学习移动机器人的导航方法，该方法基于空间-时间图注意力神经网络，该方法能够在密集行人环境下快速做出避障决策，拓展了移动机器人的应用场景。

为了达到上述目的，本发明的实施例提供了一种密集行人环境下强化学习移动机器人的导航方法，包括以下步骤：

S101：采用JRMOT技术对行人轨迹进行实时追踪，所述JRMOT技术在多目标跟踪MOT的基础上，引入3D检测；

S102：基于获取到的行人轨迹信息，采用空间-时间图注意力模型对行人轨迹进行预测；

S103：基于行人的历史轨迹和预测轨迹，采用蒙特卡洛树搜索方法和价值估计网络进行决策，获得机器人的导航方案。

进一步地，所述JRMOT技术包括输入、检测、追踪三个部分；

在输入部分，包括2DRGB图像和3D点云信息；对于2D检测器，其输入周围环境2DRGB图像，采用图像分割Mask R-CNN或目标检测器YOLO架构作为2D检测器输出一个参数集合对于3D检测器，其采集周围环境的3D点云信息，然后采用F-PointNet算法对其进行检测和特征提取得到对于提取到的和进行特征耦合，使二者经过一个三层的全连接神经网络，输出一个新的融合特征；在追踪轨迹时，对t-1时刻和t时刻的轨迹关联起来。

进一步地，采用卡尔曼滤波器对追踪轨迹的输出进行滤波，以此来估计一条平滑的3D轨迹，以此来输出每一个追踪对象的轨迹。

进一步地，采用空间-时间图注意力STGAT模型进行行人轨迹预测，具体包括：

采用LSTM捕捉每个行人的历史运动状态，并且用M-LSTM和G-LSTM来表示对行人的运动状态进行编码过程；在采用M-LSTM和G-LSTM方法对两个步道的轨迹编码后，将这二者进行结合，以此实现空间-时间信息融合；采用GNNs和GAT方法对每个时刻即每一层的行人轨迹进行处理；使用D-LSTM作为解码器；对模型训练后，机器人可以预测出行人的未来轨迹。

进一步地，采用蒙特卡洛树搜索方法和价值估计网络决策，具体为：使用状态价值预测网络对推演的状态进行价值估计，根据每个状态的价值，不断地优化出最优策略，机器人根据以此策略选择执行的动作。

本发明实施例还提供了一种密集行人环境下强化学习移动机器人的导航装置，包括以下模块：