[发明专利]一种基于数据驱动的蛇形机器人控制方法

权利要求书

1.一种基于数据驱动的蛇形机器人控制方法，其特征在于，包括以下步骤：

(1)利用传感器技术采集蛇形机器人在实际环境中的运行数据并对信息进行整合；

(2)建立完善的蛇形机器人运动数据库；

(3)利用深度确定性策略梯度算法对数据库进行学习，训练出相应的系统控制器；

(4)控制应用蛇形机器人。

2.根据权利要求1所述的方法，其特征在于，所述步骤(3)具体为：

(3.1)初始化各参数；

(3.2)初始化Unlenbeck-Ornstein随机过程；

(3.3)输入初始状态值s_t；

(3.4)选择动作值a_t；

(3.5)计算初始奖励与下一步状态值；

(3.6)存储数据；

(3.7)计算当前Q网络梯度；

(3.8)计算策略网络的梯度；

(3.9)更新当前网络参数；

(3.10)更新目标网络参数；

(3.11)输出结果；循环执行步骤(3.1)～(3.10)直至满足循环条件，保存训练好的DDPG智能体即系统控制器。

3.根据权利要求1所述的方法，其特征在于，所述步骤(4)具体为：

(4.1)数据库对比：将任务信息与数据库中信息进行对比，如果数据库中已有相同记录即已知任务，则提取相应控制器，执行步骤(4.3)；如果为未知任务，寻找相似记录，执行步骤(4.2)；

(4.2)训练新的控制器：找到相似记录对应的控制器，作为智能体的初始值，根据新的任务信息，执行步骤(3)，得出新的控制器；

(4.3)得到输出值：根据训练好的控制器，更新控制系统，得出执行任务时的最优控制系统。

4.根据权利要求1所述的方法，其特征在于，所述步骤(3.1)具体为：

(3.1.1)Q网络设计：Q网络采用两个输入与一个输出的深度卷积神经网络，两个输入分别为观测值与动作值，输出为评估奖励值，观测值输入端输入参数为蛇形机器人的角度值与角速度值，网络设置为第一层全连接层设置节点数n₁，激活函数为ReLu，第二层全连接层设置节点数为n₂，动作值输入端输入值为蛇形机器人的力矩值，全连接层设置节点数n₃；两个输入端最后全连接层输出参数相加经过ReLu激活函数，第三层全连接层设置参数为1，得出输出值；网络优化器设置为自适应矩阵估计优化器，学习率设置为α；

(3.1.2)动作网络设计：动作网络采用一个输入与一个输出的深度卷积网络，输入为观测值，输出为该状态下的力矩值即力矩值，输入端输入参数蛇形机器人的角度值与角速度值，网络设置为第一层全连接层设置节点数n₁，激活函数为ReLu，第二层全连接层设置节点数n₂，激活函数为ReLU，第三层全连接层设置节点数n₃，激活函数tanh，尺度层放大倍数为k，网络优化器设置为自适应矩阵估计优化器，学习率设置为β。

5.根据权利要求1所述的方法，其特征在于，步骤(3.3)所述的初始状态值包括蛇形机器人当前角度值、角速度值、障碍物距离、运行姿态。

6.根据权利要求1所述的方法，其特征在于，所述步骤(3.6)具体为：将整个转换过程中的s_t,a_t,r_t,s_t+1存放D中，作为当前网络的训练数据集；随机采样N个数据，作为当前策略网络与当前Q网络的mini-batch数据集，一组(s_t,a_t,r_t,s_t+1)为一个转换数据。