[发明专利]一种基于深度强化学习的智能清洁机器人路径规划方法

说明书

本发明公开了一种基于深度强化学习的智能清洁机器人路径规划方法，该路径规划方法可实现清洁机器人优先清扫垃圾多的地方，自适应避障，及时返回充电等功能。该方法是深度强化学习DDPG算法，通过策略神经网络产生行为策略，行为策略包括清扫行为策略和运动行为策略。将行为策略加入探索噪声后送入智能清洁机器人执行，通过传感器系统融合后得到状态信息，并通过设计的回报函数计算当前回报值。算法将训练得到的状态‑动作‑下一状态‑回报值存入经验缓存池，随机抽取经验，通过梯度下降法训练神经网络。本发明方法合理，实用性强，主要用在室内导航。

技术领域

本发明涉及智能清洁机器人领域，具体涉及一种基于深度强化学习的智能清洁机器人路径规划方法。

背景技术

目前随着物业管理行业发展，大部分的物业服务企业主要骨干力量是50岁以上的员工，年轻人匮乏。研究智能清洁机器人不仅可以有效解决物业一线员工短缺问题，而且可以大幅度促进企业快速向外输出服务，同时增加其他服务附加值。

但是目前室内的智能清洁机器人导航主要基于即时定位与地图构建技术(Simultaneous Localization And Mapping，SLAM)，但是路径规划的问题导致部分区域清扫不干净，清扫效率低等问题。

深度确定性策略梯度算法(Deep Deterministic Policy Gradient，DDPG)作为深度强化学习中的经典算法，在连续控制问题上有着较大的优势。

本发明提出一种基于深度强化学习的智能清洁机器人路径规划方法。该方法基于DDPG算法，融合多种传感器信息，实现清洁机器人路径动态规划。实现清洁机器人优先清扫垃圾多的地方，自适应避障，及时返回充电等功能。

发明内容

为了克服现有技术中存在的缺点和不足，本发明的目的在于提供一种基于深度强化学习的智能清洁机器人路径规划方法，以提高清洁机器人工作效率。

本发明是通过以下技术方案实现的：

一种基于深度强化学习的智能清洁机器人路径规划方法，其特征在于，包含以下步骤：

S1、初始化策略神经网络、评判网络、目标策略网络、目标评判网络、网络参数、经验缓存池以及清洁机器人；

S2、清洁机器人通过传感器感知周围环境，融合传感器数据，判断机器人的地面情况、垃圾分布情况、周围是否有无障碍物以及清洁机器人自身状态；

S3、策略神经网络接受周围环境的传感器数据，传感器数据输入策略神经网络后，策略神经网络通过计算选取执行行为策略；

S4、清洁机器人执行行为策略，将行为策略转换为驱动机构可识别的指令,并将该指令输入至驱动机构；

S5、上位机发送指令后,下位机接收该指令并执行相应的动作后完成清洁任务和路径规划，下位机执行完成得到奖励rt和下一状态st+1；

S6、判断此时清洁机器人是否到达垃圾站以及行动时间是否结束，若符合上述情况则继续执行步骤S1至步骤S6，否则对步骤S1至步骤S6进行经验总结，并执行步骤S7；

S7、将经验存储存入经验缓存池中，使用经验缓存池使得状态间相互独立，来消除输入经验间存在的很强的相关性；

S8、从经验缓存池随机采样N个经验，计算策略价值算法的损失函数值和策略决策算法损失函数值。

S9、通过目标策略网络以及评判网络计算当前策略期望回报，估计每个状态策略对的累积回报。

S10、采用梯度下降法训练神经网络，目标值网络的权重系数使用随机梯度下降算法，进行更新以最小化损失函数，计算梯度更新目标策略网络以及策略神经网络的参数。