[发明专利]一种基于数据驱动的蛇形机器人控制方法

说明书

本发明公开了一种基于数据驱动的蛇形机器人控制方法，其具体的工作流程如下：(1)利用传感器技术采集蛇形机器人在实际环境中的运行数据并对信息进行整合；(2)建立完善的蛇形机器人运动数据库；(3)利用深度确定性策略梯度算法对数据库进行学习，训练出相应的系统控制器；(4)控制应用蛇形机器人。本发明不需要准确的机理模型，能够有效避免对蛇形机器人控制系统模型的建立过程，避免因模型不准确或者未知情况带来的控制误差，以满足任务所需的控制需求；本发明利用数据驱动技术有效地降低了复杂环境下蛇形机器人控制模型不准确性带来的问题，避免了设计控制系统时的建模难度，提高了控制系统的控制效果。

技术领域

本发明涉及机器人领域，特别是一种基于数据驱动的蛇形机器人控制方法。

背景技术

蛇形机器人是一种根据蛇的结构与运动而设计出来，用于一些特殊环境工作的特种机器人。蛇形机器人因其长度与直径比例大、机身细长以及多关节结构，使其具有较高的自由度与灵活度、规避关节超限与奇异位置的能力，可以在狭小环境下完成障碍物回避、轨迹跟踪等运动。常用于抢险救灾、军事侦察、水下作业、航空航天及核能设备维护等任务中。

随着科技的发展，蛇形机器人应用领域的设备集成度越来越高，环境越来越复杂，对机器人控制的要求越来越严苛。目前，蛇形机器人的控制方法仍然是基于完全或部分已知模型，这些基于模型的控制方法对模型的依赖性较高。当模型准确时拥有较高的控制性能，反之亦然。然而随着应用环境越来越复杂以及机器人控制系统越来越庞大，蛇形机器人控制系统的机理模型越来越难以建立。模型的不准确或者未知情况，使得传统的蛇形机器人控制方法难以满足任务需求。此外，基于模型的控制方法智能化水平较低，当环境发生改变时，无法获得稳定的控制效果。

发明内容

发明目的：本发明的目的是提供一种不需要准确的机理模型的基于数据驱动的蛇形机器人控制方法。

技术方案：本发明所述的一种基于数据驱动的蛇形机器人控制方法，优势在于无需要准确的机理模型，其具体的工作流程如下：首先，利用传感器技术采集蛇形机器人在实际环境中运行时的各种信息。其次，将这些数据信息进行整合，建立完善的蛇形机器人运动数据库。最后，利用深度确定性策略梯度算法对数据库进行学习，训练出相应的系统控制器，获得较好的系统控制性能。

本发明所述的一种基于数据驱动的蛇形机器人控制方法，包括以下步骤：

(1)利用传感器技术采集蛇形机器人在实际环境中的运行数据并对信息进行整合，所述的运行数据包括关节角度、角速度、线速度、轨迹路线；

(2)建立完善的蛇形机器人运动数据库；

(3)利用深度确定性策略梯度(Deep Deterministic Policy Gradient，DDPG)算法对数据库进行学习，训练出相应的系统控制器；

(4)控制应用蛇形机器人。

所述步骤(3)具体为：

(3.1)初始化各参数；

(3.2)初始化Unlenbeck-Ornstein随机过程；

(3.3)输入初始状态值s_t；

(3.4)选择动作值a_t；

(3.5)计算初始奖励与下一步状态值；

(3.6)存储数据；

(3.7)计算当前Q网络梯度；

(3.8)计算策略网络的梯度；

(3.9)更新当前网络参数；

(3.10)更新目标网络参数；