[发明专利]一种基于强化学习的仿人智能控制的避障控制方法

说明书

本发明涉及一种基于强化学习的仿人智能控制的避障控制方法，包括以下步骤：S1、车辆判断与障碍物的距离，当车辆前方感兴趣区域内出现障碍物时，判定二者距离d与安全距离S的关系，若d＜S，车辆无法实现有效避障，停车；若d≥S，且车辆与障碍物存在相对速度时，则实施避障；如若d≥S，且相对速度为零时，车辆按原路线行驶；S2、车辆避障学习：计算车辆避障转弯半径和加速度；S3、车辆自主避障：车辆在线学习后利用记忆功能，调用驾车经验进行自主避障。对于各种状况的道路，本发明提出的避障控制方法均具有较高的避障率，具有较好的实用性和发展潜力。

技术领域

本发明涉及自动驾驶领域，具体涉及一种基于强化学习的仿人智能控制的避障控制方法。

背景技术

随着小型智能车的普及，人们在短距离出行方面有了更多的选择，同时智能车在一些特殊场合的应用也发挥了愈发重要的作用，如在反恐、巡查等特殊任务中的执行协助，因而针对狭窄复杂路面的辅助避障驾驶技术研究越发受到青睐。纵观国内外关于智能车的研究多偏向无人驾驶汽车，无人驾驶汽车具有依托于多传感器技术的高成本及主要于规则道路行驶的应用局限性，因而其核心技术并不完全适用于小型智能车。

在过去的几十年里，研究者提出很多避障方法，比如SS.GE等人改进了传统人工势场法中的引力函数和斥力函数，把障碍物与机器人的相对速度参数加入到了函数中，实现了移动机器人的有效避障，但是运动过程中被控对象很可能陷入局部极点而不能到达原规划可行路径中的目标点，且计算复杂度非常高，很难满足实时性要求；此外，反应式避障法在静态环境中有较好的效果，但在动态环境中不适合。

目前关于智能车自主避障控制的研究，主要分成应用于静态条件的传统算法和动态场景的智能算法两大类，这些方法所做出的避障决策对于周遭环境变化快速的狭窄复杂路面还不能完全达到实时快速的自主避障效果。

发明内容

针对上述技术问题，本发明公开了一种基于强化学习的仿人智能控制的避障控制方法，采用如下技术方案，其包括以下步骤：

S1、车辆判断与障碍物的距离，当车辆前方感兴趣区域内出现障碍物时，判定二者距离d与安全距离S的关系，若d<S，车辆无法实现有效避障，停车；若d≥S，且车辆与障碍物存在相对速度时，则实施避障；如若d≥S，且相对速度为零时，车辆按原路线行驶；

S2、车辆避障学习：计算车辆避障转弯半径和加速度；

S3、车辆自主避障：车辆在线学习后利用记忆功能，调用驾车经验进行自主避障。

进一步，车辆与障碍物的安全距离是:

其中a表示车辆加速度，v_a表示障碍物速度，v_r为车辆与障碍物相对速度，r为车辆避障时对应的车轮的转弯半径，y_p、y_p'分别为两个障碍物顶点p、p'与车在前进方向y轴上的距离。

进一步，车辆避障转弯的加速度需满足：其中g为重量加速度常数，h为车辆重心与地面的垂直距离，d为重心与车体边缘的水平距离。

进一步，车辆自主避障具体包括：

1)确定目标轨迹，根据车辆自主避障时对性能指标的要求，确定其理想的系统单位阶跃响应过程，然后把此过程变换到误差相平面上，为误差和误差变化率的阈值，其将划分成不同的区域，每个区域表示避障系统处于不同的运动控制状态，设计理想的误差轨迹，然后把这条理想的误差轨迹当做HSIC控制器进行设计的目标轨迹，也即HSIC特征模型和控制、校正模态的目标轨迹；目标轨迹就是将理想避障规划轨迹的转弯半径和加速度参数和车辆实际行驶过程中避障转弯半径和加速度的差值及其阈值投影至相空间，并选取平面中投影曲线中的一条；