[发明专利]一种基于深度强化学习的绿篱修剪机器人智能协同控制方法

说明书

本发明公开了一种基于深度强化学习的绿篱修剪机器人智能协同控制方法，包括以下步骤：建立绿篱修剪机器人MDP深度强化学习模型；搭建深度神经网络框架；设计改进PPO算法的策略网络目标函数与值函数网络目标函数；根据最大化策略网络目标奖励函数与最小化值函数网络目标函数均方误差原则，采用改进的PPO算法训练深度神经网络；采用改进自适应学习率的Adam自适应梯度算法优化目标函数，经过重复更新迭代，得到绿篱修剪机器人训练模型的最优策略，通过输入最新状态数据，即可预测输出最优动作，输出移动底盘与修剪机械臂的控制指令。本发明不需要对绿篱修剪机器人进行物理建模，避免了因模型不精确而带来的控制误差，避免算法陷入局部最优解，加快了算法的更新效率，同时提高了控制算法的泛化能力。

技术领域

本发明涉及控制技术领域，特别涉及一种用于高速公路绿篱修剪的基于深度强化学习的绿篱修剪机器人智能协同控制方法。

背景技术

随着高速公路绿化隔离带的修剪任务量逐步增大，鉴于人工修剪效率低下，自动化绿化养护车辆、车载式绿篱修剪车、无人式修剪机器人等自动化设备在行业内得到应用。无人式修剪机器人主要由无人底盘与修剪机械手两部分组成，在修剪作业时需要对无人底盘和机械手进行实时协同控制，使得机器人通过调整自身姿态靠近并准确定位绿篱后进行修剪。

目前，本领域在对移动机械手的协同控制方法中已有了一定研究成果，例如：

公开号为CN109176525A的中国专利申请，公开了一种基于径向基函数(RBF)神经网络的移动机械手自适应控制方法。包括对移动机械手进行动力学建模并搭建机器人动力学模型的RBF神经网络，利用神经网络设计移动机械手轨迹跟踪方法，对未知动力学参数进行在线补偿与辨识进而实现移动平台与机械手的协同控制，提高了移动机械手的动态性能以及关节空间的轨迹跟踪精度。

公开号为CN201510269642.6的中国专利申请，公开了一种基于GPS和双目视觉定位的移动机械手控制方法，移动机械手根据GPS获取目标物体的位置信息运动到目标物体附近，双目视觉获取物体的三维信息，基于视觉前馈移动机械手末端执行器快速接近目标物体，基于视觉反馈控制机械手对中物体并控制末端执行器抓取物体，视觉前馈与反馈控制使得移动机械手能够快速接近目标准确定位后进行抓取，提高控制效率。

现有的基于系统模型的各种数学分析法(逆雅可比矩阵、模型预测控制等)或多存在系统模型建立困难、模型不够精确、计算复杂繁琐、系统响应速度慢、位置误差累积大、控制系统自适应能力差、抗干扰能力差、鲁棒性差等缺点。而现有的基于智能算法(神经网络、强化学习等)的解决方案或多存在数据信息不全面、数据来源不清晰不完整、环境模型不够精确、系统响应时间长、算法学习效率低等缺点，无法充分保证机器人系统的定位精度、关节运行平顺性、响应速度、安全性等多方面要求。

发明内容

本发明的目的在于提供一种基于深度强化学习的绿篱修剪机器人智能协同控制方法，省去了传统方法手动建模计算的繁琐过程，可实时更新控制策略，提高了系统的动态响应特性，且自适应智能控制方法加快了算法的更新效率，避免陷入局部最优解，同时提高了控制算法的泛化能力。

本发明所述绿篱修剪机器人包括移动底盘和固定在移动底盘上的修剪机械臂，在所述绿篱修剪机器人上安装有视觉检测模块；所述视觉检测模块包括安装在所述修剪机械臂的末端的绿篱横截面检测相机、安装在所述修剪机械臂的基座的绿篱高度与距离检测相机、安装在所述移动底盘的前侧车道线检测相机；

本发明提供的一种基于深度强化学习的绿篱修剪机器人智能协同控制方法，包括以下步骤：

步骤一，建立绿篱修剪机器人马尔科夫决策(MDP)深度强化学习模型；

步骤二，搭建深度神经网络框架；

步骤三，设计改进PPO算法的策略网络目标函数与值函数网络目标函数；