[发明专利]基于深度强化学习的仿生机器鱼控制方法及装置

说明书

本发明提供了一种基于深度强化学习的仿生机器鱼控制方法、装置及其存储介质，属于仿生机器人控制技术领域。它解决了现有技术中的缺少针对仿生机器鱼的关节游动控制的基于深度强化学习CPG网络的仿生机器鱼关节运动控制方法等问题。本发明包括S1：通过深度学习构建外层仿生机器鱼信息网，通过与环境的交互给出初步指令；S2：针对初步指令构建内层CPG网络，通过构建基于中枢模式发生器的运动模型给出具体关节运动指令。本发明具有能够复杂水下环境中调节仿生鱼等优点。

技术领域

本发明属于仿生机器人控制技术领域，特别涉及一种基于深度强化学习的仿生机器鱼控制方法、装置及其存储介质。

背景技术

深度强化学习，主要由深度学习(Deep Learning)与强化学习 (ReinforcementLearning)两部分组成。深度学习的概念最早源于人工神经网络(Artificial NeuralNetwork，ANN)。其模型通常由多层的非线性运算单元组合而成，并将较低层的输出作为更高一层的输入，从而实现从大量训练数据中学习抽象的特征表示，进而发现数据的分布式特征。深度学习理论能够有效挖掘数据的深层次特征，其一个重要分支图神经网络凭借其特性可以有效地打破传统神经网络对处理图像要求的桎梏，成为了当下最值得重视的研究方向之一。而CPG(中央模式发生器)是一种能够产生节奏活动的协调模式，且无需来自感官反馈或上级控制中心的任何节奏输入的神经网络。由于其良好的性能，基于CPG的控件已被广泛用于生成各种游泳模式，例如向前游泳，向后游泳和转动。尽管已有较多CPG模型方法提出，但该类方法较为简单，很难应对复杂水下环境中，此外该类控制方法的智能化程度较低，当前融合深度强化学习的 CPG的仿生机器鱼运动控制研究尚处于起步阶段，缺少针对仿生机器鱼的关节游动控制的基于深度强化学习CPG网络的仿生机器鱼关节运动控制方法，且很多研究缺少明确的具体实施方案。

发明内容

本发明的目的是针对现有技术中存在的上述问题，提供了一种基于深度强化学习的仿生机器鱼控制方法、装置及其存储介质。

本发明的第一个目的可通过下列技术方案来实现：一种基于深度强化学习的仿生机器鱼控制方法，其特征在于，包括以下步骤：

S1：通过深度学习构建外层仿生机器鱼信息网，通过与环境的交互给出初步指令；

S2：针对初步指令构建内层CPG网络，通过构建基于中枢模式发生器的运动模型给出具体关节运动指令；

本发明的工作原理：本发明对在复杂水下环境具有多关节或多自由度的仿生机器鱼关节运动控制有良好的适用性，本发明的方法结深度强化学习网络，提出了融合外层仿生机器鱼信息网与内层CPG网络模型相的仿生机器鱼关节运动共控制方法，利用该方法能够实现仿生机器鱼的智能化自主高效游动控制。

在上述的一种基于深度强化学习的仿生机器鱼控制方法中，所述的外层仿生机器鱼信息网包含采用协同转换方法处理后的输入信息，所述的输入信息用于生成初步指令的深度强化学习网络以及内层CPG网络传输接口。

在上述的一种基于深度强化学习的仿生机器鱼控制方法中，所述的协同转换方法包括将仿生机器鱼外部传感器采集的连续4帧图像与深度、距离及两种以上数据相关联并标签化，所述的协同转换方法将多元数据打包为可供深度网络直接处理的结构化数据作为后续深度强化学习网络输入。

在上述的一种基于深度强化学习的仿生机器鱼控制方法中，所述的深度强化学习网络采用深度强化Q学习网络构建深度网络，通过所述的深度强化Q学习网络良好的处理机制以及与外部环境的良好交互能力生成仿生机器鱼运动的初步指令，所述的深度网络生成初步指令后输入内层CPG网络接口。

在上述的一种基于深度强化学习的仿生机器鱼控制方法中，所述的深度强化学习网络利用DQN算法构建有深度强化学习框架，将所述的多元数据输入至所述的深度强化学习框架中，所述的深度强化学习框架通过设定目标奖励值生成输入的多元数据的对应Q值，所述的Q值生成公式如式(1)所示：