[发明专利]一种基于强化学习的农林用车辆的导航控制方法

说明书

本发明公开了一种基于强化学习的农林用车辆的导航控制方法，包括如下步骤：将车辆的路径跟踪系统描述成马尔科夫决策过程，建立状态空间及动作空间，以神经网络的Q‑Learning算法作为车辆的路径跟踪及避障控制器，通过对控制器进行示教训练，实现车辆的精准路径跟踪。本发明的有益效果是：将强化学习应用到车辆的路径跟踪控制中，无需建立精确的车辆运动模型，即可实现车辆的精准路径跟踪，避免车辆与障碍物的碰撞，自适应性和自学能力强；可减少车辆在农林业环境中由于路面泥泞打滑，不平整等因素造成的路径跟踪误差，提高路径跟踪的精确度；此设计较为简单，避免了精准车辆模型的建立及大量的人工参数整定工作，可行性强。

技术领域

本发明涉及农林用车辆导航技术领域，具体为一种基于强化学习的农林用车辆的导航控制方法。

背景技术

随着导航定位技术、传感器技术的发展，车辆的路径跟踪技术也得到了快速发展。目前，路径跟踪控制算法主要有：传统PID算法、模糊控制算法、滑模控制法、纯跟踪控制法等。传统PID算法不依赖于精确的数学模型，应用广泛，但其自适应能力较差，控制参数的调整较为困难，需要一定经验和大量实验。模糊控制算法同样不需要建立车辆模型，但需要专家的经验制定规则库，且数据稳定性差，易随着运动环境的变化而变化。滑模控制法抗干扰能力强，响应快，但其缺点是容易发生抖振现象。导航定位技术对路径跟踪也极为重要，近些年，GNSS、激光雷达、机器视觉和多传感器融合技术被广泛应用于环境感知定位领域。

农林业环境比较复杂，路面不平整、不规则、泥泞易滑，会导致车轮打滑、偏移，与参考路径形成较大的距离误差。因此，使农机能够准确地进行路径跟踪相对较难。专利号CN110007667B公开了一种履带拖拉机及其路径跟踪控制方法和系统的专利，通过定位系统得到拖拉机的位置偏差和移动速度，利用主驱动轮的半径及转速测出拖拉机的理论速度，同时结合履带的滑移率得到拖拉机的航向变化率表达式，根据航向变化率表达式和采样周期计算出航向变化预估值，进而控制拖拉机的舵机角度，使拖拉机跟踪期望路径。专利号CN105867377B公开了一种农业机械自动导航控制方法的专利，通过 GPS测得农业机械当前的运动状态，与预定义路径数据对比，计算出横向偏差与航向偏差，综合模糊控制算法和改进型纯跟踪算法得出前轮转角，实现路径跟踪。但是这两件专利的路径跟踪控制算法主要存在以下问题：依赖于精确的车辆模型或环境模型，使得控制系统的设计更加困难；需要大量的试验及专业的经验，不能适时地随环境的改变调整控制参数；自适应性和自学能力不强。

发明内容

本发明的目的在于提供一种基于强化学习的农林用车辆的导航控制方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种基于强化学习的农林用车辆的导航控制方法，包括如下步骤：

1)将车辆的路径跟踪系统描述成马尔科夫决策过程(MDP)；

2)建立状态空间及动作空间；

3)以神经网络的Q-Learning算法作为车辆的路径跟踪及避障控制器，通过对控制器进行示教训练，实现车辆的精准路径跟踪。

进一步优选，所述建立状态空间的步骤如下：

a1)通过GNSS获取车辆的位置坐标及航向信息；

a2)将参考路径等间隔的分成n段，在每两段的节点处取点，获取参考路径上距离车辆最近点的坐标和该点的切线方向，计算车辆与参考路径的距离误差e_dt和航向误差e_θt；

a3)将上一个状态的车辆与参考路径的距离误差e_dt-1加入进状态空间；