[发明专利]基于近端策略优化的水下蛇形机器人高速步态生成方法

说明书

一种基于近端策略优化的水下蛇形机器人高速步态生成方法，包括：搭建强化学习的训练环境，包括reset()函数、step()函数；在强化学习的训练环境下实现近端策略优化算法；将策略网络得到的权值利用正弦函数为基函数去拟合，从而转换为水下蛇形机器人运动步态参数。本发明有益效果如下：本发明步态生成方法以高速作为优化目标，水下蛇形机器人在该步态生成方法下优化得到的步态运动时，其前向运动速度比在对传统步态方法优化得到的最优步态运动时的前向运动速度更快；本发明步态生成方法在寻优过程中，会在比蛇形步态方程更大的范围寻找，其得到步态方程形式往往会不同于蛇形步态方程，是一种新型的运动步态。

技术领域

本发明涉及一种机器人高速步态生成方法。特别是涉及一种基于近端策略优化的水下蛇形机器人高速步态生成方法。

背景技术

由于水下环境复杂多变，传统的水下探测机器人通常难以应对，且普遍存在续航时间短的问题。近年来，基于仿生学设计的机器人在复杂环境适应的问题上表现十分突出，其运动方式源于生物机理，因此能效比远高于传统机器人。本发明研究的水下蛇形机器人设计理念源于生物蛇，同生物蛇一样具有冗余的关节结构，灵活性极高，能够在各种环境下运动，且运动效率较高，故在水环境检测、水下救援和对水下设备检修等方面具有广阔的应用前景。然而，冗余的关节结构和水环境的复杂多变，导致水下蛇形机器人的步态生成和优化成为了极具挑战力的热点问题。

针对蛇形机器人的步态生成和优化问题，国内外已经有众多学者进行了研究，如洛桑联邦理工大学、挪威科技大学、日本东京工业大学、中国科学院沈阳自动化研究所。传统的步态和优化方法主要包括基于蛇形曲线的方法、基于模型的方法和基于CPG的方法。日本东京工业大学的Hirose Fukushima Lab实验室通过大量实验反复观察生物蛇的运动提出了serpenoid曲线和serpentine曲线(文章题目：Biologically Inspired Robots:Snake-Like Locomotors and Manipulators；会议：International Conference onRobotics and Automation；著者：S.G.Ma；出版年月：1999)；挪威科技大学研究人员基于无约束的动力学模型设计了路径跟踪控制器(会议：In proceedings of IEEE Conferenceon Decision and Control；著者：P.Liljeback,I.U.Haugstuen,K.Y.Pettersen；出版年月：2010；会议：In proceedings of IEEE Conference on Decision and Control；著者：P.Liljeback,K.Y.Pettersen；出版年月：2011)；洛桑联邦理工的仿生机器人实验室学者基于CPG(central pattern generator)模型实现了蛇形机器人在陆地和水中的运动控制(文章题目：Online optimization of swimming and crawling in an amphibious snakerobot；页码：75-87)。前面这些方法都是在蛇形步态方程的基础上对步态参数进行优化，优化的范围仅在蛇形步态方程范围内。而由于人工智能的迅速发展的推动，强化学习在蛇形机器人步态研究上也有所发展，该方法能在比蛇形步态方程范围更大的空间去寻找满足回报函数设置的目标的步态。针对陆地蛇形机器人的传统步态在非结构化环境运动控制的不足，卡耐基梅隆大学研究人员采用分布式框架下的异步优势演员-评论家(asynchronousadvantage actor-critic,A3C)的强化学习算法，分别在线地和离线地实现了蛇形机器人在非结构化地形上的运动，并且提升了40％的运动效率，但是该方法仍然用到传统步态方程的先验知识。(文章题目：Distributed Learning of Decentralized Control Policiesfor Articulated Mobile Robots；页码：1109-1122)。

发明内容

本发明所要解决的技术问题是，提供一种前向运动速度更快的基于近端策略优化的水下蛇形机器人高速步态生成方法。