[发明专利]基于DQN的车间多功能机器人

权利要求书

1.一种基于DQN的车间多功能机器人，其特征在于：包括：

DQN神经网络模型构建模块，用于根据以下算法模型构建DQN神经网络模型：

Q(S_t,a_t)←Q(S_t,a_t)+α[R_t+γQ(S_t’,a_t’)-Q(S_t,a_t)]

其中，γ表示折扣因子，α表示学习率，R_t表示积累回报值，S_t表示在当前时间t的状态；

训练模块，用于对DQN神经网络模型进行训练；

SLAM图像构建模块，用于根据传感器数据生成SLAM图像；所述SLAM图像构建模块包括RPLIDAR数据获取模块、RGBD数据获取模块以及数据融合模块，所述RPLIDAR数据获取模块用于获取环境一维构图数据，所述RGBD数据获取模块用于获取环境二维构图数据，所述数据融合模块用于根据环境一维构图数据和环境二维构图数据生成环境空间的SLAM图像；

环境状态生成模块，用于根据SLAM图像生成状态；

可行动作集构建模块，用于将坐标平面划分N个方向，形成可行动作集；

控制模块，用于将可行动作集以及SLAM图像数据作为输入，通过DQN神经网络模型输出行为控制决策；

所述N为64；所述DQN神经网络模型包括两个卷积层，所述两个卷积层的步长均为3，还包括两个全连接层，第一层全连接层设有256个节点，第二层全连接层设有8个节点；

所述R_t按照以下公式计算：

其中，r_t表示在当前时间t，状态s下采取行动a之后的回报值；

r_t定义如下：当机器人朝向目的地运动且无碰撞时，取值为5；当机器人与目的地反向时或当机器人与周围障碍物相碰撞时取值-5；其它情况时取值为0。

2.根据权利要求1所述的基于DQN的车间多功能机器人，其特征在于：所述训练模块采用随机梯度下降法来最小化损失函数来不断调整网络权重。

3.根据权利要求2所述的基于DQN的车间多功能机器人，其特征在于：所述训练模块采用的损失函数定义如下：

L_i(θ_i)=E[(TargetQ-Q(s,a;θ_i))²]

TargetQ=r+γQ(sⁱ,aⁱ;θ_i^-)

其中，θ_i^-表示第i次迭代的目标网络参数，θ_i则是Q-network网络参数。

4.根据权利要求3所述的基于DQN的车间多功能机器人，其特征在于：RPLIDAR数据获取模块获取环境一维沟通数据时加入随机高斯噪声。