[发明专利]基于图像隐变量概率模型的分布式强化学习社交导航方法

权利要求书

1.一种基于图像隐变量概率模型的分布式强化学习社交导航方法，其特征在于，所述方法包括共享策略的分布式多机器人仿真环境构建、社交导航策略网络训练和多机器人现实场景应用三部分；

所述共享策略的分布式多机器人仿真环境构建方法如下：

S11：构建多种分布静态场景，包括走廊、大厅和迷宫导航场景，并在场景内对各个机器人的位置进行随机初始化；

S12：搭建多机器人的通讯框架，实现机器人个体间以及机器人与环境之间交互的实时状态反馈；

S13：搭建多机器人的控制框架，实现满足机器人动力学的运动控制执行器；

S14：在所述通讯框架下进行策略共享，多机器人分布式进行导航决策，通过策略网络的自我博弈来模拟人机共存环境；

所述社交导航策略网络训练方法如下：

S21：多机器人在所述共享策略的分布式多机器人仿真环境中进行随机探索，初始化真实交互数据集；

S22：利用当前真实交互数据集作为训练数据，对预先构建的图像隐变量概率预测模型进行多步迭代训练；

S23：以当前交互真实数据集的采样数据为起点，利用图像隐变量概率预测模型进行预测推演，得到虚拟交互数据集，将虚拟交互数据集与当前真实交互数据集结合得到综合数据集；

S24：利用综合数据集作为训练数据，对策略网络进行迭代优化；

S25：在仿真环境中进行测试，若策略网络收敛则停止迭代，若策略网络未收敛，则进一步补充真实交互数据集，重新回到S22；

所述多机器人现实场景应用方法如下：

S31：搭建多机器人的车载主控机与传感器及控制器间的信息互联，实现各机器人的环境感知；

S32：搭建本地计算机与多机器人的车载主控机间的信息互联，利用本地计算机上训练后的策略网络进行控制决策，实现社交导航。

2.如权利要求1所述的基于图像隐变量概率模型的分布式强化学习社交导航方法，其特征在于，在所述的共享策略的分布式多机器人仿真环境构建部分中，采用Gazebo仿真来搭建训练环境，场景内包含四个动态障碍物用于行人的模拟，同时设置多个形状以及位置随机的静态障碍物来为场景增添随机性；仿真中选用Turtlebot2移动机器人来验证导航决策效果，由相同的导航决策方法通过ROS通讯架构进行控制；环境接收控制指令后按照运动学模型进行更新迭代一次，并返回机器人当前观测以及奖励函数值，形成反馈。

3.如权利要求1所述的基于图像隐变量概率模型的分布式强化学习社交导航方法，其特征在于，在所述共享策略的分布式多机器人仿真环境中，多机器人独立进行导航决策，个体间不进行通讯以及信息共享；策略网络在所有机器人的交互经验数据上进行迭代优化，在多机器人的相互对抗与合作过程中逐步学习社交导航策略。