[发明专利]基于对抗结构化控制的仿生机器鱼运动控制方法、系统

权利要求书

1.一种基于对抗结构化控制的仿生机器鱼运动控制方法，其特征在于，该仿生机器鱼运动控制方法包括：

步骤S10，获取仿生机器鱼游动路径，并将所述游动路径划分为顺次连接的基本子路径集合；

步骤S20，顺次基于所述子路径集合中每一个子路径的起点与终点，通过训练好的舵机全局控制模型，获取t时刻仿生机器鱼各舵机全局控制量；

步骤S30，基于获取的t时刻仿生机器鱼位姿信息、t时刻仿生机器鱼各舵机全局控制量，通过训练好的舵机补偿控制模型，获取t时刻仿生机器鱼各舵机补偿控制量；

步骤S40，对所述t时刻仿生机器鱼各舵机全局控制量与t时刻仿生机器鱼各舵机补偿控制量求和，获取t+1时刻仿生机器鱼各舵机控制量，并通过所述t+1时刻仿生机器鱼各舵机控制量进行t+1时刻仿生机器鱼运动控制；

步骤S50，令t＝t+1，跳转步骤S20，直至所述仿生机器鱼到达所述游动路径终点；

其中，所述舵机全局控制模型、舵机补偿控制模型分别包括一一对应的针对不同类型子路径构建的舵机全局控制子模型与舵机补偿控制子模型对的集合，所述舵机全局控制子模型与舵机补偿控制子模型对分别基于CPG模型、DDPG网络构建，并通过迭代对抗方法进行训练，其训练方法为：

步骤B10，构建所述舵机全局控制子模型与舵机补偿控制子模型对的优化目标函数：

其中，ψ表示通过目标函数优化的对象，即CPG模型参数、DDPG网络参数；θ_e表示仿生机器鱼与目标点偏航角度，θ_e∈(-π,π]为其设定范围；表示仿生机器鱼在世界参考系下的速度矢量；表示该速度矢量的模，v₀是为保证能耗优化效果预先设定的速度上限；分别表示仿生机器鱼舵机的力矩矢量、角速度矢量；β为正值，表示奖励与损耗之间的相关系数；

步骤B20，通过ES算法按照预设第一梯度函数梯度下降方向进行舵机全局控制子模型的参数优化，直至所述优化目标函数的值不再增加或增加值低于设定第一阈值，获得第一舵机全局控制子模型；

步骤B30，基于所述第一舵机全局控制子模型的参数，按照预设第二梯度函数梯度下降方向进行舵机补偿控制子模型中动作策略网络与动作价值网络的参数优化，直至所述优化目标函数的值不再增加或增加值低于设定第一阈值，获得第一舵机补偿控制子模型；

步骤B40，基于所述第一舵机补偿控制子模型的参数，跳转步骤B20，迭代进行舵机全局控制子模型、舵机补偿控制子模型的参数优化，直至所述优化目标函数的值不再增加或增加值低于设定第一阈值，获得训练好的舵机全局控制子模型与舵机补偿控制子模型。

2.根据权利要求1所述的基于对抗结构化控制的仿生机器鱼运动控制方法，其特征在于，所述第一梯度函数为：

其中，F(·)代表优化目标函数，θ代表CPG模型参数，σ表示参数扰动的步长，ε表示参数扰动的梯度方向，代表仿生机器鱼在向n个从标准正态分布采样得到梯度方向更新后的θ控制下运动得到的优化目标函数的数学期望。

3.根据权利要求1所述的基于对抗结构化控制的仿生机器鱼运动控制方法，其特征在于，所述第二梯度函数为：

其中，Q(s,a|θ^Q)表示动作状态价值函数，μ(s|θ^μ)表示动作策略函数，N代表批处理更新方法中样本的个数，i代表从经验池中采样得到的第i个样本，a代表控制量，s_i代表第i个样本的状态，J代表动作策略网络的目标函数，代表动作策略网络对网络内参数的梯度。

4.根据权利要求1所述的基于对抗结构化控制的仿生机器鱼运动控制方法，其特征在于，步骤S40中“对所述t时刻仿生机器鱼各舵机全局控制量与t时刻仿生机器鱼各舵机控制量的调整量求和”，其方法为：

其中，a_t表示仿生机器鱼舵机控制信号，s_t、分别表示t时刻仿生机器鱼的状态与期望状态，分别表示与仿生机器鱼状态相关的舵机全局控制量和舵机补偿控制量。