[发明专利]基于强化学习的蛇形急救机器人结构参数快速设计方法

说明书

本发明基于深度强化学习的蛇形急救机器人结构参数快速设计方法属于蛇形急救机器人结构设计领域，涉及一种用于灾害搜救、基于深度强化学习的蛇形急救机器人结构参数快速设计方法。该方法先构建蛇形急救机器人参数多目标规划模型，针对机器人结构参数多目标规划问题进行马尔可夫建模。根据规划问题分别建立状态空间、动作空间与奖励函数；接着构建强化学习架构。最后对所构建的强化学习网络进行训练，实现蛇形急救机器人快速设计任务。本发明可以在保证完成任务指标的前提下，快速、高效完成蛇形急救机器人结构参数快速设计任务，从而获得综合性能较优的轻量化蛇形急救机器人结构参数。

技术领域

本发明属于蛇形急救机器人结构设计领域，涉及一种基于强化学习的蛇形急救机器人结构参数快速设计的方法。

背景技术

当如山洪、地震等重大灾害降临时，灾后救援一直是人们关注的重点，使用救援机器人参与灾后救援，既可以减少在救援过程中救援人员的伤亡，也可以利用其能跨越各种障碍地形的特点，提高救援的效率。因此，代替人或辅助人来进行救援工作的机器人，必须具备较强的环境适应能力。作为仿生机器人分支之一，蛇形机器人拥有较强的地形适应能力，能够在复杂环境下快速可靠地运动，尤其善于通过各类狭缝环境。但由于有些蛇形机器人采用履带驱动式结构，而履带驱动结构导致机器人整体尺寸较大、能耗较高的问题。因此，应保证蛇形急救机器人在能够完成任务目标的前提下尽可能保证快速轻量化设计。

近年来也有学者针对机器人结构优化问题提出了解决方案。2019年哈工大机器人(合肥)国际创新研究院在专利CN110232247A中公开了“一种基于有限元分析的阀门密封圈的优化设计方法”。该方法首先建立阀门的三维实体模型，对密封圈尺寸进行参数化建模，随后对实体模型与密封圈模型进行有限元分析，最终得到优化结构样式。虽然该方法优化效果较好，但是有限元结构优化方法对网格划分要求较高，网格划分越细，优化精度越高，但计算时间越久。

发明内容

本发明的目的是克服现有技术的缺陷，发明一种基于强化学习的蛇形急救机器人结构参数快速设计方法。该方法利用基于最大熵搜索策略算法实现在给定任务参数的情况下，能够迅速设计出一组轻量化机器人结构参数。可针对不同的翻越阶梯高度与跨越沟壑宽度这两个任务指标，在短时间快速设计出一组可以满足任务指标，并保证机器人质量轻量化的机器人参数。可针对同一任务不同任务需求参数，快速高效地完成设计任务。

本发明采用的技术方案是一种基于强化学习的蛇形急救机器人结构参数快速设计方法，该方法先构建蛇形急救机器人参数多目标规划模型，针对机器人结构参数多目标规划问题进行马尔可夫建模；根据问题分别建立状态空间、动作空间与奖励函数，构建强化学习架构；最后，对所构建的强化学习网络进行训练，实现蛇形急救机器人快速设计任务；方法的具体步骤如下：

步骤1：构建机器人参数多目标规划模型；

将蛇形急救机器人结构参数化，确定需要设计的变量：驱动模块长度l₁，核心模块长度l₂，机器人高度h，翻越台阶、沟壑过程中机器人核心模块与水平面夹角θ这四个参数；

针对翻越台阶任务过程中的越障关键阶段，建立障碍与所定义设计变量之间的关系式；该关系式定义为：

其中，H_max表示在当前结构参数下机器人所能翻越的最大台阶高度，x_G表示后驱动模块与地面呈垂直状态时机器人整体质心与后驱动模块中心线的水平距离，m_G1表示机器人驱动模块质量，m_G2为核心模块质量，m_G为机器人总体质量；

针对跨越沟壑任务过程中的越障关键阶段，建立障碍与所定义设计变量之间的关系式；该关系式定义为：

结合机器人轻量化、便携性要求，定义蛇形急救机器人质量约束条件：