[发明专利]一种基于行人轨迹预测与社交约束的移动机器人路径规划方法

说明书

本发明涉及一种基于行人轨迹预测与社交约束的移动机器人路径规划方法，属于机器人路径规划领域。该方法采用深度相机采集场景中的数据送入YOLOv5_DeepSort网络进行行人的实时检测与跟踪，获取每个行人的编号和检测框，并对行人的检测框进行实时跟踪和位置更新。然后提取行人的像素坐标转换为世界坐标，用于输入到Social GAN网络进行行人轨迹实时预测，从而得到行人未来时刻的轨迹。根据得到的行人预轨迹和行人之间的距离在行人周围形成机器人不可通行的安全空间或交互空间，使机器人在路径规划时能够及时避让行人的安全空间和交互空间，从而增加了机器人的预判性和社交约束属性。

技术领域

本发明属于机器人路径规划领域，是一种基于行人轨迹预测与社交约束的移动机器人路径规划方法。

背景技术

随着人工智能与机器人技术的不断发展与进步，移动机器人在工业、服务业、农业、医疗等领域得到了快速发展和广泛应用，人们对机器人性能的要求也逐步提升。机器人在复杂的多人动态环境中能充分考虑行人运动与社交规律等因素，实现智能行走成为机器人的一项重要功能。

传统的路径规划往往只是让机器人在行走过程中实时躲避环境中的障碍物，从而规划出一条从起点到目标点的无障碍路径。但对于有意识的行人不能进行简单的避障，机器人需要在路径规划的过程中对行人的运动行为、多个行人之间的交互进行提前预判并避让，避免机器人行走过程中影响行人的正常活动与交流。比如：当两个行人正在以为1米以内的间距同向行走时，机器人不能从他们中间穿过，这不符合人类的社交规律，故应该让机器人绕行。因此，在机器人路径规划时提前感知行人的运动意图，增加机器人的社交约束属性，能够降低机器人行走过程中对行人活动的影响，实现机器人与行人安全交互、和谐共处的目标。

发明内容

鉴于上述传统技术中的不足之处，本发明提供了一种基于行人轨迹预测与社交约束的移动机器人路径规划方法。该方法所采用的技术方案是通过实时预测行人的未来轨迹，并根据行人的未来轨迹和行人之间的距离，在行人周围生成机器人不可通行的空间，使机器人路径规划时能及时避让行人空间，达到增加机器人的预判性和社交约束属性的目的。

本发明具体方案如下所述：

所述的基于行人轨迹预测与社交约束的移动机器人路径规划方法包括两个模块，构建行人实时检测跟踪并预测模块和构建具有社交约束的机器人路径规划模块，其中：

所述的行人实时检测跟踪并预测模块具体方案如下：

S1.搭建YOLOv5_DeepSort网络，使用公开数据集对YOLOv5_DeepSort进行预训练，保存训练好的权重文件用于行人的实时检测与跟踪；

S2.采用RealSense D435深度相机向YOLOv5_DeepSort网络实时输入数据，加载S1步骤中保存的权重文件，然后通过YOLOv5_DeepSort的YOLOv5网络部分对场景中的行人目标进行实时检测，得到行人目标的检测框，DeepSort部分以YOLOv5输出的行人检测结果为输入，对行人在每一时刻的位置进行跟踪并更新位置信息；

S3.以S2步骤中跟踪到的每一时刻的检测框中心点像素坐标代替行人检测框，得到每个行人在时间上的像素坐标序列，记录每个行人的编号和像素坐标序列，将每一帧的像素坐标与行人的深度信息进行帧间匹配，用于将行人像素坐标转换为世界坐标；

S4.将相机位置设为世界坐标系的原点，此时相机坐标等于世界坐标。通过相机的内参将像素坐标转换为图像坐标再转换到相机坐标，即可实时获取行人的相机坐标，即世界坐标；

S5.使用Pytorch深度学习框架搭建Social GAN网络，使用公开数据集中对SocialGAN网络进行预训练，Social GAN网络包括生成器和判别器，其中生成器的输入是观测到的行人最近时刻的轨迹序列，通过对输入的轨迹进行非线性运算，提取行人的位移状态向量，经过预测时段序列的传递，获得行人未来时刻的轨迹序列；