[发明专利]基于DQN的车间多功能机器人

说明书

本发明涉及机器人控制技术领域，具体为一种基于DQN的车间多功能机器人，包括：DQN神经网络模型构建模块，用于根据算法模型构建DQN神经网络模型；训练模块，用于对DQN神经网络模型进行训练；SLAM图像构建模块，用于根据传感器数据生成SLAM图像；环境状态生成模块，用于根据SLAM图像生成状态；可行动作集构建模块，用于将坐标平面划分N个方向，形成可行动作集；控制模块，用于将可行动作集以及SLAM图像数据作为输入，通过DQN神经网络模型输出行为控制决策。本申请的一种基于DQN的车间多功能机器人，能够通过自学习满足多种不同任务需求，解决当前机器人由于应用的场景和任务单一而存在的成本高、收益低的问题。

技术领域

本发明涉及机器人控制技术领域，具体为一种基于DQN的车间多功能机器人。

背景技术

随着物联网和互联网技术的发展，智能机器人被广泛的应用于展厅导航、车间管理、自动化生产、仓储管理、智能家居等场景中。

一般车间机器人或者智能机械，应用场景以及功能比较单一，只能完成特定场景的某一部分工作，当用于其它任务或者不同的场景时，则无法胜任工作，虽然可以大大的减少人工工作量，但是对于对产品越来越多元化需求的今天，引入只能完成单一任务的设备或机器人存在造价高、收益低的问题。以机器人的移动为例，移动控制和路径规划是机器人工作运行的基础，现有的车间机器人，通常采用固定线路或场景内设置标记识别等方式，来控制智能车的移动和路径，无法在不同场景不同任务下完成工作，存在应用成本高、收益低的问题。

发明内容

本发明意在提供一种基于DQN的车间多功能机器人，能够通过自学习满足多种不同任务需求，解决当前机器人由于应用的场景和任务单一而存在的成本高、收益低的问题。

本申请提供如下技术方案：

一种基于DQN的车间多功能机器人，包括：

DQN神经网络模型构建模块，用于根据以下算法模型构建DQN神经网络模型：

Q(s_t,a_t)←Q(s_t,a_t)+α[R_t+γQ(s_t’,a_t’)-Q(s_t,a_t)]

其中，γ表示折扣因子，α表示学习率，R_t表示积累回报值，s_t表示在当前时间t的状态；

训练模块，用于对DQN神经网络模型进行训练；

SLAM图像构建模块，用于根据传感器数据生成SLAM图像；

环境状态生成模块，用于根据SLAM图像生成状态；

可行动作集构建模块，用于将坐标平面划分N个方向，形成可行动作集；

控制模块，用于将可行动作集以及SLAM图像数据作为输入，通过DQN神经网络模型输出行为控制决策。

进一步，所述N为64。

进一步，所述DQN神经网络模型包括两个卷积层，所述两个卷积层的步长均为3，还包括两个全连接层，第一层全连接层设有256个节点，第二层全连接层设有8个节点。

进一步，所述R_t按照以下公式计算：

其中，r_t表示在当前时间t，状态s下采取行动a之后的回报值。

进一步，r_t定义如下：当机器人朝向目的地运动且无碰撞时，取值为5；当机器人与目的地反向时或当机器人与周围障碍物相碰撞时取值-5；其它情况时取值为0。