[发明专利]机器鱼的控制方法、装置、设备及存储介质

权利要求书

1.一种机器鱼的控制方法，其特征在于，包括：

基于深度确定性策略梯度网络训练两关节机器鱼的两个关节的状态参数；

根据所述两个关节的状态参数控制机器鱼两个关节的运动；

所述深度确定性策略梯度网络包括策略网络和评价网络；

所述策略网络包括第一动作状态估计模块、第一动作状态现实模块、和策略梯度模块；

所述评价网络包括第二动作状态估计模块、第二动作状态现实模块、和损失函数模块；

所述第一动作状态估计模块连接第二动作状态估计模块、策略梯度模块，并且所述第一动作状态估计模块输出所述状态参数，并接收奖励值；

所述第一动作状态现实模块连接第二动作状态现实模块，并且所述第一动作状态现实模块接收所述奖励值；

所述策略梯度模块连接所述第一动作状态估计模块、第二动作状态估计模块；

所述第二动作状态估计模块连接所述第一动作状态估计模块、策略梯度模块和损失函数模块，并接收奖励值；

所述第二动作状态现实模块连接所述第一动作状态现实模块、损失函数模块，并接收奖励值；

所述损失函数模块连接第二动作状态现实模块和第二动作状态估计模块。

2.根据权利要求1所述的方法，其特征在于，

所述奖励值的计算过程如下：

利用拉格朗日方程建立动力学模型，根据所述状态参数计算所述机器鱼的效率值，将所述效率值作为奖励值。

3.根据权利要求2所述的方法，其特征在于，

所述策略网络和评价网络分别为三层网络，策略网络和评价网络的参数选择相同，第一层是300个神经元，第二层是100个神经元，最后一层是要输出的维度；其中，策略网络包括两个输出作为两个刚度值；评价网络包括一个输出作为q值。

4.根据权利要求1-3任意一项所述的方法，其特征在于，

所述基于深度确定性策略梯度网络训练两关节机器鱼的两个关节的状态参数，包括：

S1、利用拉格朗日方程构建机器鱼的动力学模型的环境，并构建DDPG网络；

S2、重置环境，得到起始需要的两个关节的状态参数；

S3、将所述状态参数送到DDPG网络中，由策略模块产生两个关节所需要的刚度值；

S4、将DDPG网络产生的刚度值送回到所述模型的环境中，解算出由此动作产生的机器鱼下一个状态的各个状态值、奖励值、完成值；

S5、将当前各个状态的状态值、DDPG产生的动作值、奖励值以及下一个状态的各个状态值存储到DDPG的记忆库中；

S6、判断记忆库是否已满，如果是则进入步骤S7，如果否则进入步骤S8；

S7、DDPG从记忆库中随机抽取固定数量的记忆来学习；

S8、判断完成值是否为1或达到一个回合最大，如果是则返回步骤S2，如果否则返回步骤S3。

5.一种机器鱼的控制装置，其特征在于，包括：

DDPG模块，基于深度确定性策略梯度网络训练两关节机器鱼的两个关节的状态参数；

控制模块，根据所述两个关节的状态参数控制机器鱼两个关节的运动；

所述深度确定性策略梯度网络包括策略网络和评价网络；

所述策略网络包括第一动作状态估计模块、第一动作状态现实模块、和策略梯度模块；

所述评价网络包括第二动作状态估计模块、第二动作状态现实模块、和损失函数模块；

所述第一动作状态估计模块连接第二动作状态估计模块、策略梯度模块，并且所述第一动作状态估计模块输出所述状态参数，并接收奖励值；

所述第一动作状态现实模块连接第二动作状态现实模块，并且所述第一动作状态现实模块接收所述奖励值；

所述策略梯度模块连接所述第一动作状态估计模块、第二动作状态估计模块；

所述第二动作状态估计模块连接所述第一动作状态估计模块、策略梯度模块和损失函数模块，并接收奖励值；

所述第二动作状态现实模块连接所述第一动作状态现实模块、损失函数模块，并接收奖励值；

所述损失函数模块连接第二动作状态现实模块和第二动作状态估计模块。