[发明专利]基于强化学习的蛇形急救机器人结构参数快速设计方法

权利要求书

1.一种基于强化学习的蛇形急救机器人结构参数快速设计方法，其特征是，该方法先构建蛇形急救机器人参数多目标规划模型；然后针对机器人结构参数多目标规划问题进行马尔可夫建模，根据规划问题分别建立状态空间、动作空间与奖励函数；接着构建强化学习架构；最后对所构建的强化学习网络进行训练，实现蛇形急救机器人快速设计任务；方法的具体步骤如下：

步骤1：构建机器人参数多目标规划模型；

将蛇形急救机器人结构参数化，确定需要设计的变量为驱动模块长度l₁，核心模块长度l₂，机器人高度h，翻越台阶、沟壑过程中机器人核心模块与水平面夹角θ这四个参数；

针对翻越台阶任务过程中的越障关键阶段，建立障碍与所定义设计变量之间的关系式；该关系式定义为：

其中，H_max表示理论上在当前结构参数下机器人所能翻越的最大台阶高度，x_G表示后驱动模块与地面呈垂直状态时机器人整体质心与后驱动模块中心线的水平距离，m_G1表示机器人驱动模块质量，m_G2为核心模块质量，m_G为机器人总体质量；

针对跨越沟壑任务过程中的越障关键阶段，建立障碍与所定义设计变量之间的关系式；该关系式定义为：

结合机器人轻量化、便携性要求，定义蛇形急救机器人质量约束条件：

min{m_G＝2m_G1+m_G2} (4)

步骤2：针对机器人结构参数多目标规划问题进行马尔可夫建模；

针对机器人结构参数多目标规划问题，智能体需要不断尝试各组结构参数，通过观察当前状态与奖励，训练神经网络，不断向能获得最大期望奖励值的策略方向进行优化；

在t时刻状态S被定义为：S(t)＝[dH,dS,m_s]，(5)

其中，各参数被定义为：

dH＝H_max-H_target (6)

dS＝S_max-S_target (7)

m_s＝2m_G1+m_G2 (8)

其中，dH是爬坡能力指标项、dS是翻越沟壑能力指标项，S_max表示理论上当前机器人所能跨越的最大沟壑宽度，H_target代表机器人翻越台阶的任务需求高度，S_target代表机器人跨越沟壑的任务需求长度；

在t时刻动作A被定义为：a(t)＝[Δl₁,Δl₂,Δh,Δθ]，(9)

该动作空间各项参数范围被定义为：Δl₁∈(-5mm,5mm)；Δl₂∈(-5mm,5mm)；Δh∈(-1mm,1mm)；Δθ∈(-1°,1°)；

其中，Δl₁表示在一个时间步内驱动模块长度l₁的改变量，Δl₂表示在一个时间步内核心模块长度l₂的改变量，Δh表示在一个时间步内机器人高度h的改变量，Δθ表示在一个时间步内核心模块与水平面夹角θ的改变量；

在t时刻奖励r被定义为：

r_m＝2m_G1+m_G2 (12)

其中，w_m、w_h、w_s分别是质量惩罚项r_m、爬坡能力指标项dH、翻越沟壑能力指标项dS的标准化系数；

步骤3：构建强化学习架构；

选用Soft-Actor-Critic算法为基础框架；在蛇形急救机器人结构参数快速设计任务中SAC算法训练参数设置如下：隐藏层层数为2层；隐藏层神经元数量为256；学习率为0.0001；经验池容量为500000；温度系数设置为自动调节；

温度系数学习率为0.0001；

经上述内容构建强化学习网络，智能体在结构参数设计任务过程中，利用贝尔曼方程计算预期评估值Q_soft(s_t,a_t)：

其中，Q_soft(s_t,a_t)表示智能体在t时刻s_t状态下采取动作a_t时的预期评估值，Q_soft(s_t+1,a_t+1)表示智能体在t时刻s_t+1状态下采取动作a_t+1时的预期评估值，α为温度系数，log_π(s_t+1,a_t+1)为熵正则项；

根据公式(7)构建Q值网络更新方程:

构建策略网络更新方程：

其中π_φ(·|s_t)代表当前的策略分布，Q_θ(s_t,·)表示当前根据采样估计到的Q值分布，Z(s_t)是派分函数，作用是令Q值分布标准化；

构建温度系数更新方程：

构建目标网络更新方程：

步骤4：对强化学习网络进行训练

所设计的强化学习网络训练过程如下：

A.初始化折扣因子、学习率，并对神经网络进行初始化，其中权值采用随机初始化，偏置项采用常值初始化；

B.初始化初始状态，在取值范围内分别对翻越台阶的任务需求高度H_target、跨越沟壑的任务需求长度S_target、驱动模块长度l₁，核心模块长度l₂、机器人高度h、在跨越台阶任务临界状态时核心模块与水平面夹角θ进行随机取值；

C.将当前状态s_t输入进神经网络进行分析，输出设计动作a_t；

D.机器人更新结构参数并从预设奖励函数中得到奖励反馈r_t以及当前状态s_t+1；

E.将当前时间步内采集的样本{s_t,a_t,r_t,s_t+1}存储进经验池；

F.更新网络参数

G.判断本轮学习过程是否完结，否则跳转回B；

经训练后，收敛后的强化学习算法能够针对不同的翻越阶梯高度与跨越沟壑宽度这两个任务指标，在短时间内快速设计出一组能够满足任务指标，并保证机器人质量轻量化的机器人参数。