[发明专利]一种基于自适应权重强化学习的六足机器人避障方法

说明书

本发明公开了一种基于自适应权重强化学习的六足机器人避障方法，步骤包括：由六足机器人通过测距传感器测量机器人与附近各个障碍物的距离，并通过模糊隶属度函数将测量的障碍物距离转化为有限的状态集合；根据有限的状态集合建立六足机器人避障模型，再利用自适应权重强化学习算法学习出最优网络模型参数θ*；根据上述训练好的最优网络模型参数θ*得到六足机器人避障的最优目标策略，由最优目标策略获得六足机器人在t时刻避障所要采取的动作a_t。该避障方法能够在障碍物数量较多的位置环境中实现较好的避障效果，具有良好的市场应用前景。

技术领域

本发明涉及一种机器人避障方法，尤其是一种基于自适应权重强化学习的六足机器人避障方法。

背景技术

六足机器人在结构上具有多冗余自由度，因而具有较高的地形环境适应能力。六足机器人能够在路况复杂的野外行走、越障，完成轮式或履带式所不能完成的非结构性环境中的运输作业，在森林采伐、矿山开采、水下建筑、核工业、军事运输及探测、星球探测等领域有着非常广阔的应用前景。因此，六足机器人的相关研究一直备受各国专家学者的关注，但是如何提高六足机器人在非结构环境下的移动能力仍然是个悬而未决的课题。

传统的六足机器人步行运动采取固定步态的方法，如三足步态、四足步态、波动步态等，研究者把几种不同的步态根据参数的不同分别做成几组步态数据，当有不同需求的时候调用。利用这种步态能够在平面上表现出良好的行走能力，但在不规则地形特别是未知环境中，机器人则没有办法实现稳定的行走，因此迫切需要一种能够适应未知地形的步态规划方法。

为了能够使六足机器人适应复杂非结构路况，需要用到机器学习的方法。在机器学习中，强化学习(Reinforcement Learning)属于较为活跃的领域，在解决决策等方面其的应用极为广泛。强化学习相比于其他学习法，其属于智能体与环境进行交互的过程。从延迟奖励当中对此近似过程开展学习工作则属于智能体的根本任务，试错学习为该任务的核心学习思想，此工作旨在选择最佳的动作序列，基于此获取最多的报酬。

发明内容

发明目的：提供一种基于自适应权重强化学习的六足机器人避障方法，能够使得六足机器人在复杂工作环境中作业。

技术方案：本发明所述的基于自适应权重强化学习的六足机器人避障方法，包括如下步骤：

步骤1，由六足机器人通过测距传感器测量机器人与前侧、左侧以及右侧三个方向上的障碍物距离，并通过模糊隶属度函数将测量的障碍物距离转化为有限的状态集合；

步骤2，根据有限的状态集合建立六足机器人避障模型，再利用自适应权重强化学习算法学习出最优网络模型参数θ*；

步骤3，根据上述学习出的最优网络模型参数θ*得到六足机器人避障的最优目标策略，由最优目标策略获得六足机器人在t时刻避障所要采取的动作a_t。

进一步的，步骤1中，通过模糊隶属度函数将测量的障碍物距离转化为有限的状态集合的具体步骤为：

步骤1.1，利用安装在机器人上的九个测距传感器测量机器人与前侧、左侧以及右侧三个方向上的障碍物距离，测距传感器每三个分为一组，三组传感器分别位于机器人的前侧、左侧以及右侧，假设九个测距传感器的测量结果分别为a1、a2、a3、b1、b2、b3、c1、c2以及c3，且a1、a2和a3为前侧三个测距传感器的测量值，b1、b2和b3为左侧三个测距传感器的测量值，c1、c2和c3为右侧三个测距传感器的测量值，再通过公式(1)进行处理：

式中，a、b以及c分别为机器人前侧、左侧以及右侧三个方向上的障碍物距离，R^aV为前侧三个测距传感器距离机器人定位中心的平均距离，R^bV为左侧三个测距传感器距离机器人定位中心的平均距离，R^cV为右侧三个测距传感器距离机器人定位中心的平均距离，机器人定位中心为机器人中的定位传感器安装位置；